信号、影响和最优交易的市场自学习：无形

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Market Self-Learning of Signals, Impact and Optimal Trading: Invisible
  Hand Inference with Free Energy》
---
作者：
Igor Halperin and Ilya Feldshteyn
---
最新提交年份：
2018
---
英文摘要：
  We present a simple model of a non-equilibrium self-organizing market where asset prices are partially driven by investment decisions of a bounded-rational agent. The agent acts in a stochastic market environment driven by various exogenous \"alpha\" signals, agent\'s own actions (via market impact), and noise. Unlike traditional agent-based models, our agent aggregates all traders in the market, rather than being a representative agent. Therefore, it can be identified with a bounded-rational component of the market itself, providing a particular implementation of an Invisible Hand market mechanism. In such setting, market dynamics are modeled as a fictitious self-play of such bounded-rational market-agent in its adversarial stochastic environment. As rewards obtained by such self-playing market agent are not observed from market data, we formulate and solve a simple model of such market dynamics based on a neuroscience-inspired Bounded Rational Information Theoretic Inverse Reinforcement Learning (BRIT-IRL). This results in effective asset price dynamics with a non-linear mean reversion - which in our model is generated dynamically, rather than being postulated. We argue that our model can be used in a similar way to the Black-Litterman model. In particular, it represents, in a simple modeling framework, market views of common predictive signals, market impacts and implied optimal dynamic portfolio allocations, and can be used to assess values of private signals. Moreover, it allows one to quantify a \"market-implied\" optimal investment strategy, along with a measure of market rationality. Our approach is numerically light, and can be implemented using standard off-the-shelf software such as TensorFlow.
---
中文摘要：
我们提出了一个非均衡自组织市场的简单模型，其中资产价格部分由有限理性主体的投资决策驱动。代理人在由各种外部“阿尔法”信号、代理人自身行为（通过市场影响）和噪音驱动的随机市场环境中行事。与传统的基于代理的模型不同，我们的代理聚合了市场中的所有交易者，而不是代表性代理。因此，它可以被识别为市场本身的有限理性成分，提供了一种特殊的隐形手市场机制的实现。在这种背景下，市场动态被建模为这种有限理性市场主体在其对抗性随机环境中的虚拟自我游戏。由于这种自我博弈的市场主体所获得的回报无法从市场数据中观察到，我们基于神经科学启发的有界理性信息论逆强化学习（BRIT-IRL），建立并求解了一个简单的市场动力学模型。这导致了具有非线性均值回归的有效资产价格动态，在我们的模型中，这是动态生成的，而不是假设的。我们认为，我们的模型可以以与黑人同窝人模型类似的方式使用。特别是，它在一个简单的建模框架中表示常见预测信号的市场观点、市场影响和隐含的最佳动态投资组合分配，并可用于评估私人信号的价值。此外，它还可以量化“市场隐含”的最佳投资策略，以及市场合理性的衡量标准。我们的方法在数值上很轻，可以使用标准的现成软件（如TensorFlow）来实现。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Computational Finance        计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--
一级分类：Computer Science        计算机科学
二级分类：Artificial Intelligence        人工智能
分类描述：Covers all areas of AI except Vision, Robotics, Machine Learning, Multiagent Systems, and Computation and Language (Natural Language Processing), which have separate subject areas. In particular, includes Expert Systems, Theorem Proving (although this may overlap with Logic in Computer Science), Knowledge Representation, Planning, and Uncertainty in AI. Roughly includes material in ACM Subject Classes I.2.0, I.2.1, I.2.3, I.2.4, I.2.8, and I.2.11.
涵盖了人工智能的所有领域，除了视觉、机器人、机器学习、多智能体系统以及计算和语言（自然语言处理），这些领域有独立的学科领域。特别地，包括专家系统，定理证明（尽管这可能与计算机科学中的逻辑重叠），知识表示，规划，和人工智能中的不确定性。大致包括ACM学科类I.2.0、I.2.1、I.2.3、I.2.4、I.2.8和I.2.11中的材料。
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Physics        物理学
二级分类：Adaptation and Self-Organizing Systems        自适应和自组织系统
分类描述：Adaptation, self-organizing systems, statistical physics, fluctuating systems, stochastic processes, interacting particle systems, machine learning
自适应，自组织系统，统计物理，波动系统，随机过程，相互作用粒子系统，机器学习
--
一级分类：Quantitative Finance        数量金融学
二级分类：Portfolio Management        项目组合管理
分类描述：Security selection and optimization, capital allocation, investment strategies and performance measurement
证券选择与优化、资本配置、投资策略与绩效评价
--

---
PDF下载：
-->

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Applications Quantitative Neuroscience Intelligence Optimization

信号、影响和最优交易的市场自我学习：自由能量的看不见的手推理（或者，我们如何学会停止担忧和热爱有限理性）Igor Halperin和Ilya Feldshteynyu Tandon工程学院邮件：Igor。halperin@nyu.edu, if@q-rd.comMay 172018摘要：我们提出了一个非均衡自组织市场的简单模型，其中资产价格部分由有限理性主体的投资决策驱动。代理人在一个由各种外部“阿尔法”信号、代理人自身行为（通过市场影响）和噪音驱动的随机市场环境中行事。与传统的基于代理的模型不同，我们的代理聚合了市场上的所有贸易商，而不是作为代表性代理。因此，它可以识别市场本身丰富的理性成分，提供一个有形的手市场机制的具体实施。在这种情况下，市场动态被建模为这种有限理性市场主体在其对抗性随机环境中的一种积极的自我博弈。由于这种自我博弈的市场主体所获得的回报无法从市场数据中观察到，我们基于神经科学启发的有限理性信息论逆强化学习（BRIT-IRL），对这种市场动态的简单模型进行了模拟和求解。这导致了具有非线性均值回归的有效资产价格动态，在我们的模型中，这是动态生成的，而不是假设的。我们认为，我们的模型可以以与黑人同窝人模型类似的方式使用。特别是，它在一个简单的建模框架中代表了常见预测信号的市场观点、市场影响和隐含的最优动态投资组合分配，并可用于评估私人信号的价值。此外，它允许人们量化“市场隐含”的最佳投资策略，以及市场合理性的衡量标准。

我们的方法在数值上很轻，可以使用标准的现成软件（如TensorFlow）来实现。我们要感谢欧内斯特·巴弗、埃里克·伯杰、让·菲利普·布沙德、彼得·卡尔、谢尔盖·埃西波夫、安德烈·伊特金、维韦克·卡普尔、丹·努德曼和尼古拉·扎伊采夫，感谢他们的精彩发言和讨论。所有的错误都是我们的。1引言本文提出了金融市场价格动态的简单“结构性”模型。虽然基于金融学中不常用的概念（强化学习、信息理论、物理学等，见下文），但我们建议的模型在完成其结构背后的“故事”后，最终在数学上相当简单（见等式（109））。它既是市场从业者的实用工具，也是可以使用模拟和/或分析方法进一步探索的金融市场理论模型。为了明确起见，我们在本文中将重点放在股票市场上，尽管同样的方法也可以以同样的方式应用于其他市场。在某种程度上，以下模型的主要思想可以表述为seminalBlack-Litterman（BL）模型[8]中建议的超额收益建模方法的动态和数据驱动扩展。如下所示，在我们解决该问题的方案中出现的结构性资产回报模型具有一些有趣的特性，例如股票价格中存在均值回归，这在我们的框架中是市场上所有贸易商联合行动的结果，这些贸易商动态实施马科维茨型均值-方差投资组合策略。本质上，BL模型首创了马科维茨最优投资组合理论，并考虑了逆优化问题。也就是说，它首先观察到市场投资组合（通常由标准普尔500指数表示）从定义上来说是最佳的“市场隐含”投资组合。

因此，如果我们将这样一个给定的市场投资组合视为最优投资组合，那么我们可以反转投资组合优化问题，并询问与此最优市场投资组合相对应的最优资产配置政策是什么。在单周期Markowitz均值-方差优化的框架内[32]，这转化为市场隐含的预期收益值和收益协方差。Black和Litterman分别提出了这个框架，作为评估私人“阿尔法”信号在产生超额回报中的价值的一种方法。Bertsimas等人[7]将BL模型明确解释为逆投资组合优化问题，并提出了一些扩展，如鲁棒逆优化。请注意，【7】中的反向优化仍在单周期（一个时间步）设置中执行，与原始BL模型【8】和马科维茨均值方差投资组合模型【32】中的设置相同。本文提出的一个模型将这种市场投资组合的逆优化观点扩展到一个动态的、多期的环境中。虽然这需要一些新的数学工具，但该模型的输出基本上可以与BL模型的输出相同的方式使用：评估私人“阿尔法”信号的价值，并根据自己对信号的联合影响和交易对预期超额回报的市场影响的评估来设计交易策略。我们的模型与业界和学术界使用的大多数市场模型的一个重要区别是，我们的模型没有假设竞争性市场均衡。正如杜菲（Duffee）[14]详细讨论的那样，这一范式是三个获得诺贝尔奖的现代金融基石理论的基础，许多买卖双方的实践者都在使用这些理论。

另一方面，著名金融市场大师乔治·索罗斯（GeorgeSoros）称这种范式为“荒谬的假设”。我们的模型可以解释为试图调和这种相反的观点。我们的建议答案是，双方在各自的方式上都是正确的，但我们提供了一个实用且易于计算的统一框架。这使我们能够量化索罗斯的批评，并提出一个简单的模型，可以用来描述三种不同状态下的市场：不平衡、准“经济学以理性预期理论结束，该理论坚持认为，未来只有一个与之对应的最优观点，最终所有市场参与者都会围绕这一观点趋同。这一假设是荒谬的，但为了让经济理论以牛顿物理学为模型，它是必要的。”（G.索罗斯）。我们感谢Vivek Kapoor提供此参考。平衡和完美的热平衡。只有在市场中没有信息流动的情况下，才可能出现后一种情况——这几乎不是现实的情况。完美热平衡的最后一种情况对应于竞争市场均衡范式的假设。虽然我们认为，对于金融市场而言，最后一个限额是“非实物”限额，但这是竞争性市场均衡模型所描述的限额，如Modiglinani-Miller的资本结构与公司市值无关、William Sharpe（1964）的资本资产定价模型（CAPM）和期权定价的Black-Scholes模型【14】。这些模型将市场动力学视为围绕完美热力学平衡市场状态的平衡波动。因此，他们隐含地假设，整个市场中不存在货币和信息的流动/流出，市场处于最大熵状态。

这可能是稳定/缓慢市场中的合理近似值，这可以解释为什么这些模型在“正常”市场条件下工作得相当好。但这种竞争市场均衡的假设也表明，这些模型在市场不稳定、危机和市场崩溃期间的表现应该会越来越差，这似乎是文献中广泛认可的一种观察结果。当最需要这些模型时，这些模型失败的一般原因是，在所有这些情况下，将市场视为围绕熵已经最大化的稳态的均衡波动的观点不足以描述市场动态，另见下文关于自组织系统和活生物体的类比。上述评论涉及我们框架的潜在理论含义。不管怎样，我们的模型也试图满足市场从业者的需求，他们希望获得利益，而不是对市场动态进行理论研究。为此，除了提供Black Litterman模型的多期扩展外，我们的模型还生成了动态维护此类市场最优投资组合的代理的市场影响参数和风险规避参数的“市场隐含”值，以及“市场隐含”最优投资策略，可以查看它以监控市场或市场中的单个参与者（见下文）。如果我们的市场隐含最优策略模型给出了一个明确的公式，那么像“战胜市场的策略”这样的表达现在可能可以在事前而不是事后给出更定量的含义。最后，模型根据市场数据估计的参数之一是描述市场理性程度的参数β（β的另一个名称是市场的“逆温度”），这一事实可能提供了一个更有趣的见解。

这表明β的市场隐含值可以作为一种监测工具，也可能是一种预测信号，以便对市场、特定交易所甚至特定交易商有一个总体看法。它是非实物的，因为它与市场的存在相矛盾，在市场中，做市商产生流动性，而投机者通过消化新信息来获利，这两者都不应该存在于竞争性市场均衡模型中。这是因为只有不与外界交换信息的封闭系统才可能达到完美平衡。因此，竞争性市场均衡模型并不试图回答市场为什么存在的问题，而是简单地假设一阶最优性（均衡）条件，然后探索其后果【46】。在物理学中，完美的热力学平衡是在封闭系统的热力学极限下实现的，对应于“宇宙热死亡”的状态【29】。布莱克-斯科尔斯模型依赖于一种较弱形式的竞争市场均衡范式，称为无套利原则[14]。请注意，由于后者是一个单周期模型，因此在此框架中甚至无法表述均衡市场与非均衡市场的问题。后一种情况对应于本文开发的模型对单个投资者而非整个市场的可能应用，另见下文。1.1我们的方法展望模型背后的主要直觉思想可以介绍如下。

虽然真实的市场动态非常复杂，因为它们在很大程度上是由大量个体理性或有限理性市场参与者驱动的，但众所周知，市场参与者表现出强烈的羊群行为倾向：当市场上涨时，每个人都在买，当市场下跌时，每个人都在卖。这就提出了一个代表性投资者的概念，其目标是优化给定目标函数的给定投资组合。这种代表性投资者在文献中被称为代理人。从这个角度来看，环境，即市场，显然是代理人的外部环境。但是，如果我们对这个问题采取逆向优化的观点，就像《黑色垃圾人》（Black Litterman）[8]中所说的那样，会怎么样？在这种方法中，最优投资组合是已知的，它是市场投资组合本身。但是，谁是动态维护（重新平衡）这种市场最优投资组合的代理人？我们可以通过市场中所有个体交易者的“集体模式”来确定此类代理人，这些交易者的决策由一组共同商定的预测因素来指导，这些预测因素可能包括新闻、其他市场指标和/或指数、描述限额指令簿当前状态的变量等。因此，我们的框架与传统效用模型的第一个不同之处在于，我们的代理人是所有投资者的总和，而不是他们的平均值，即“代表性”投资者。由于这种代理人聚集了部分同质和部分异质的个人投资者群体的行为，因此它不可能是一个完全理性的代理人，而应该被代表为一个具有有限理性的代理人。

有限理性是我们的框架与经典的基于代理的方法的第二个关键区别，下文将对此进行更详细的解释。此外，由于所有市场参与者的所有单独交易共同构成了动态重新调整市场最优投资组合的实际市场变动，因此此类代理人可以识别市场本身的有限理性成分。如果我们采用这样的观点，市场价格的实际动态现在可以从数学上建模为这样一个有限理性主体的连续决策过程，该主体在一个部分可控、部分不可控的环境中通过自我游戏进行自学习，这一环境与市场的其他部分是一致的。与RL代理相关的第一个组件可以被认为是这种自组织市场的“头脑”，通过在这种开放环境中的自我游戏来了解其环境和自身。我们的代理体现了市场的“看不见的手”，这在我们的框架中是以目标为导向的，下面将更加明确。在我们的模型中，“看不见的手”是作为有限理性RL代理的实际自我游戏实现的。代理人的自我博弈相当于模仿一个厌恶风险的投资者寻求动态的马科维茨最优投资组合，而这个投资者的行为是由熵随机化的。如下第节所示。4.6，这在数学上等价于与对手博弈的两方博弈中的投资组合优化，从而使原始代理人及其假想对手形成纳什均衡。因此，代理同时将所有交易员模仿为自组织市场的有限理性“头脑”。这就产生了一个市场价格动态的动态模型，其中市场上所有试图构建马科维茨最优投资组合的交易者的总价格影响相当于市场观察到的资产回报的动态均值回归。

Yukalov和Sornette在【57】中强调了动态系统中自组织与顺序决策之间的模型等效性。神经科学中的一种类似方法是弗里斯顿大脑的统一自由能模型[19]，自由能原理在生命系统中的最新应用参见[39]。简言之，这种方法表明，“所有生物系统都是世界的一个层次生成模型的实例，它通过最小化自由能隐式地最小化其内部熵”[39]。可以解释为具有外部信号的几何均值回归模型，其中均值回归是动态产生的，而不是像市场动力学的描述模型那样由手引入。由此产生的模型可以被视为回报的非线性因素模型，可以使用标准的统计方法（如最大似然法）进行估计。更重要的是，由于我们得出的资产回报模型是一个结构模型，因此我们模型中的均值回归背后有一个“故事”。在我们的方法中，它是由市场中所有（有界理性或理性）代理人的总有界理性行为产生的，即按照均值-方差策略动态优化其投资组合。这可以与1988年Poterba和Summers提出的零智力“噪音交易者”的均值回归机制相比较【44】。我们只有一个代理人，但它是有限理性的，不同于[44]模型中总理性/智力为零的许多网络交易者。1.2模型的可能见解由于我们在反向投资组合优化而非直接投资组合优化的背景下制定问题，有限理性代理的目标可以被视为重新平衡其自身的“影子”投资组合的问题，以便在这种持续的自我博弈中尽可能接近市场组合。