信号、影响和最优交易的市场自学习：无形

结果是预期的，见附录C中的表1和表2，其中显示了单独年度运行的校准参数（我们不报告重量以节省空间）。第二组预测值由（重新调整的）市值的一对衰减指数移动平均值给出。这两个信号使用指数移动平均的参数γ=0.9和γ=0.96，分别对应于7天和15天的回望窗口。在这两组实验中，我们通过在权重w、wof两个预测因子的非负性约束下最小化负对数似然（117），并添加正则化项λ（w+w），来估计得到的模型参数-1). 而结果仅与λ范围内正则化参数的值弱相关~ 10-3.- 10-2，我们报告λ=10值的结果-2、协方差矩阵∑xis取对角线∑x=对角线（σi）。我们设置t=1，因此我们报告κ和σ的每日值，而不是年度值。指数移动平均信号的校准参数κ和σ如附录C中的表3和表4所示。可以预期，所得参数与第一组信号的参数有很大不同。校准后的参数不太稳定，这并不奇怪，因为移动平均数并不能很好地预测未来的价格。特别是，我们偶尔观察到κ的负值，这表明局部偏离预期值，而不是收敛到该值。在图中。1、2、3我们展示了2017年两个月内IBM、JPM和XOM股票的市值与固定平均水平。其他股票和其他时期的结果相似。请注意，试图通过简单地运行xton xtand将信号ZT作为此类回归中噪声项的一部分处理。

由于ztisa随机过程本身，此类过程将违反i.i.d.对CH回归中噪声项的假设。图1：市值与估计平均水平：IBMFigure 2：市值与估计平均水平：JPM8讨论与未来方向8.1资产回报率的均值回归我们模型最有趣的含义之一是预测了资产回报率的非线性均值回归行为。虽然股市日内数据的均值回归是一个公认的事实，但其在长期回报中的存在是文献中一个长期讨论的话题。后者始于Poterba和Summers，他们认为股票回报率的均值反转是由“噪音交易者”的行为造成的，这些行为没有任何目标，即零智力[44]。[50]讨论了均值回归对长期最优资产管理的影响。图3：市值与估计平均水平：XOMIn我们的模型中，资产回报的均值回归有一个非常透明的来源。这源于交易员的总体市场影响，他们通过适应市场中不断变化的信号和变化，遵循均值方差马科维茨型优化策略，优化其投资组合。由此产生的股票价格动态是非线性均值回归类型（具有外部因素的多变量几何均值回归过程），即使我们在模型中为代理启动了一个简单的高斯策略π。我们模型中动态的非线性既是价格影响机制反馈回路的表现，也是反馈回路的结果。有趣的是，我们模型中动态生成的均值回归在系统中产生了时间衰减的自相关，即原始公式中没有的多周期效应。

请注意，对于自组织系统而言，存在缓慢时间衰减的自相关和对外部信号的适应性是典型的，参见例如[57]。因此，我们的模型通过动态生成股票的均值回归水平，展示了自组织行为的一些特征。8.2第节讨论了非均衡行为和市场崩溃。6.1，我们的上述设置假设外部信号的变化很慢，因此市场有足够的时间来适应信号中的新信息。如果外部信号在时间上保持不变，系统最终将处于平稳平衡状态。如果信号ZT在时间t相对于其在时间t的右值表现出较大的跳跃，则可能出现不同的情况- 1、在这种情况下，系统可能会发现自己陷入亚稳态——一种以前的全局最优状态，在zt跳到新值后成为局部最小值。通过存在分离全局和局部极小值的势垒，可以确保亚稳定性，而不是这种状态的稳定性。噪声ε（x）t将激活从亚稳态到新的动态最佳稳态的过渡，参见例如[55]中关于如何在物理学中模拟此类过渡的内容。在金融环境中，这种亚稳态的衰变（通过热激活的扩散）可以描述市场崩溃。这种转变可以通过数值模拟或理论上使用[55]的方法进行研究。【54】中研究了由乘法噪声（如等式（111）中所示）引起的非平衡强化跃迁。

特别是统计学，我们的模型最初没有包括任何“永久影响”效应，这可能不是MDP环境中的先验概念。文献[43]研究了具有热传导的系统驱动非平衡动力学的物理。8.3多智能体配方：市场定位还是击败市场策略？由于本文的目的是利用反向强化学习对驱动整个市场的有限理性“看不见的手”进行推理，因此我们使用了单代理设置。在我们的公式中，这个单代理通过自我游戏进行自我学习。正如我们在本文中所展示的，虽然这个公式可能看起来有点抽象，甚至是“神学的”，但它产生了非常具体的可观察和可计算的结果，例如预测资产回报的均值反转、隐含的合理性和风险规避参数，以及市场隐含的最优策略。另一方面，将此模型的设置扩展到多代理公式会很有趣。在线多智能体强化学习，其中两个或多个有界RationalAgent在有外部信号的噪音市场环境中实施类似Markowitz或可能更高级的投资策略，可以创建潜在丰富的市场击败策略。8.4市场的隐含合理性回顾：反向温度参数β通过最小化交易成本来控制动态复制市场投资组合的代理的合理性程度。我们展示了我们的框架所暗示的市场模型（109）的校准结果。在此设置中，原始模型参数嵌入在参数定义公式（109）中，参见公式。(108). 后一个参数根据市场数据进行校准。为了推断包括β在内的模型原始参数，可以使用第节中的IH-IFalgorithm。5.9.

市场隐含理性参数β和风险规避λ的推断将在其他地方讨论。8.5作为信息感知行动系统的市场对RL代理的分析代表了我们在上面开发的市场的一致的有限理性部分，包括对行动的信息成本的分析。这种分析可以通过包括信息提取的信息成本来扩展[52、42、22、48]。该扩展的价值在于其关注外部信号zt。在我们的模型中，我们按照给定的方式对其进行调整，有效地将其提取的信息成本排除在模型的范围之外。按照【52、42、22、48】的思路进行分析，可以评估这些信号在整个感知-动作循环中的价值。请注意，传统上，信号的访问基于其预测未来的能力，例如其自身的未来。然而，这与这些信号的最终目标并不相同，即提高。【52、42、22】中的感知-行动周期分析规定了信号中的有用信息，而不是无用信息，这些信息应被丢弃，因为其使用相当于耗散能量（热量），而不是增加自由能。本文中开发的模型沿着金融市场感知-行动周期分析路线的扩展将在其他地方介绍。9总结正如索内特在[46]中所讨论的那样，经济模型不同于物理科学中的模型，因为经济主体预测未来并相应采取行动，从而影响当前。融资价值取决于市场参与者对未来的看法。这与物理学截然不同，在物理学中，质子的质量等量显然与公众对未来的看法无关。

这些观察结果使许多研究人员认为，生物学和遗传学的观点对于财务建模非常有用【46】。正如我们在第节中讨论的。2、我们的模型与生物学模型有许多相似之处，例如[19]、[39]。我们的有限理性市场范围代理汇集了市场上所有在其交易决策中预测未来的交易员。agent的最佳行为是那些使其自由能最大化的行为，类似于[19]、[39]的模型。我们的模型提供了一种基于逆强化学习和变分EM算法的计算方案来推断模型的参数。在我们的模型中，实现“看不见的手”的市场范围代理是所有代理的总和，它为推断市场投资组合或单个投资者提供了统一的框架。此外，对于最有趣的市场投资组合动态推断案例，我们的模型提供了Black Litterman模型的多期扩展[8]。最后，我们的方法提出了一个非平稳的多元几何均值回归（GMR）过程（109）作为市场动力学的模型。附录A：局部二次展开的最优作用和最优G函数A。1动力学线性化在这里，我们开发了一个易于处理的计算方案，该方案基于线性化变量\'at，\'yt的条件，并将泰勒级数中的动力学和感兴趣的函数（G函数和动作策略πθ）在与这些值的小偏差处展开。在本节中，我们在计算条件变分自由能（71）时使用符号“at、”yt作为固定条件值，或等效为随机隐藏变量“at、”yt的实现。

请注意，当这些值固定时，我们也有相关对的固定值（\'ut，\'xt）≡ （1吨-1’’at，1T’’yt），其中1=[1，0]和1-1= [1, -1] T.让我们回到等式（78），它表明，在控制和状态向量yt中，动力学是非线性的。定义（x，u）空间中线性化点的偏差δxt和δut：xt=\'xt+δxt，ut=\'ut+δut（A.1）。我们通过保持偏差δxt，δut中的线性项，将动力学方程（78）线性化。这将产生δxt+1=Ohm+ Ohmxδxt+Ohmuδut+Ohmzδzt+εto （xt+ut）（A.2），其中Ohm= （1+射频+诊断（带zt- M（ut））（‘xt+’ut）-(R)xt+1Ohmx=1+射频+诊断（W'zt- M（ut）（A.3）Ohmu=1+射频+诊断（W'zt- M（ut）- （\'xt+\'ut）o MOhmz=（\'xt+\'ut）o 其中（\'xt+\'ut）o M表示向量的第k个分量（\'xt+\'ut）与矩阵M的第k行的元素相乘，在最后一个关系中使用了类似的约定。还可以确定扩展空间的偏差（14）。

在这种情况下，我们以与等式（a.1）类似的方式围绕条件值“at，”“yt”展开：yt=”“yt+δyt，at=”“at+δat（a.4），以便线性化点位于等式中。（A.1）和（A.4）的关系如下：（\'ut，\'xt）≡ （1吨-1年1月1日）。根据增量δzt将公式（A.2）和公式（13）叠加在一起，我们可以写出δyt的线性化方程如下：δyt+1=ψ+ψyδyt+ψAδat+εyt（δyt，δat）（A.5），其中ψ=Ohm（一）- Φ) o(R)zt-(R)zt+1, ψy=Ohmx个Ohmz0 I- Φ, ψa=Ohm美国犹他州-1.（A.6）εyt（δyt，δat）=εto （xt+ut）εzt=εtoTyt+1T-1at公司εzt注意，矩阵ψ、ψy、ψ通过其对“ytand”at的依赖性而与时间相关。还要注意，式（A.5）表示Cδyt+1≡ Et，a[δyt+1]=ψ+ψyδyt+ψaδat∑y≡ Cov[δyt+1]=∑xx0∑z（A.7）∑xx=∑roh类Tyt+1T-1at公司Tyt+1T-1at公司t我们还可以用δyt和δat表示奖励公式（22）：^Rt（yt，at）=δaTt^Raaδat+δyTt^Ryyδyt+δaTt^Rayδyt+δaTt^Ra+δyt^Ry+r（\'yt，\'at）（A.8）这里我们定义了^Raa=Raa，^Ryy=Ryy，^Ray=Ray，^Ra=Ra+2Raa'at+Ray'yt，^Ry=2Ryy\'yt+RTay\'at（A.9）r（\'yt，\'at）=\'aTtRaa\'at+\'yTtRyy\'ytray\'\'ytray\'\'yt+\'attrare将其作为奖励函数系数Raaetc的原始参数调用。根据原始模型参数、新的“帽子”系数^Raaetc确定。现在是原始模型参数和条件变量“yt，”at的函数。A、 2对于G函数的递归在本节中，我们考虑一个有限的地平线设置。在这种情况下，系数的时间依赖性将隐含在下面的方程式中，并将由额外的上脚本进行补充，例如：。

F（t）yy，为清晰起见。对于具有计划地平线T的有限地平线设置，由于位置X由（10）确定，我们可以使用等式。（47）和（A.8）为了得到FπT（yT）=RT（\'yT+δyT，\'aT+δaT）（A.10），我们使用它来计算公式（87）中的Fyy，Fy，F（\'yT），根据奖励函数的系数（A.8）：F（T）yy=Ryy=Ryy（A.11）F（T）y=RTayδaT+Ryy=RTay（\'aT+δaT）+2Ryy'yTF（\'yT“aT）=δaT^RaaδaT+δaTT^Ra+r（\'yT，\'aT），对于值T=T-1.0，我们使用等式。（A.5）和（A.7）计算下一周期F函数的条件期望，如下所示：Et，AFπt+1（yt+1）= F（\'yt+1，\'at+1）+cδyTt+1F（t+1）y+cδyTt+1F（t+1）yycδyt+1+TrhF（t+1）yy∑yi（A.12）最后一项可以使用公式（88）以更方便的形式表示：TrhF（t+1）yy∑yi=TrhTyt+1T-1at公司Tyt+1T-1at公司T（Fxxo ∑r）i+Tr[Fzz∑z]=Tyt+1T-1at公司T（Fxxo ∑r）Tyt+1T-1at公司+ Tr[Fzz∑z]（A.13）在一些代数之后，我们将等式（A.12）以类似于等式（A.8）的形式放置：Et，AFπt+1（yt+1）= δaTtHaaδat+δyTtHyyδyt+δaTtHayδyt+δaTtHa+δyTtHy+bf（\'yt，\'at）（A.14），其中haa=ψTaFyyψA+1-1（Fxxo ∑r）1T-1Hyy=ψTyFyyψy+1（Fxxo ∑r）1THay=2ψTaFyyψy+2·1-1（Fxxo ∑r）1THa=ψTaFy+2ψTaFyψ+2·1-1（Fxxo ∑r）年初至今+1吨-1英寸at（A.15）Hy=ψTyFy+2ψTyFyψ+2·1（Fxxo ∑r）年初至今+1吨-1英寸atbf（\'yt，\'at）=F（\'yt+1，\'at+1）+ψTFy+ψTFyyψ+年初至今+1吨-1英寸atT（Fxxo ∑r）年初至今+1吨-1英寸at+ Tr【Fzz∑z】这些方程可用于有限地平线和有限地平线设置。对于前一种情况，所有参数都位于等式的右侧。（A.15）参考未来时间动量T+1，以便方程式。（A.15）作为下面要完成的反向递归方案的一部分。另一方面，对于有限层位的情况，它们可以用作自由能函数时间无关参数的更新方程（87）。接下来，我们取G-函数的Bellman方程Gπt（yt，at）=^Rt（yt，at）+γEt，aFπt+1（yt+1）（A.16）我们用等式代替。（83），（A.8）和（A.14）。

将所得方程左侧和右侧的δxt和δatin的类似幂前的系数相等，我们得到了方程（83）中定义G函数的矩阵系数的一组递归关系：Gaa=^Raa+Haa，Gyy=^Ryy+Hyy，Gay=^Ray+HayGa=^Ra+Ha，Gy=^Ry+Fy，G（\'yt，\'at）=r（\'yt，\'at）+bf（\'yt at，\'at）（a.17）在这些方程式中，左侧和右侧的系数指的是同一时间t，因此它们可以以相同的方式用于有限和无限水平情况。A、 3具有可观察回报的反向递归首先考虑一个适用于有限水平情况的完整反向递归方案，如果观察到回报，该方案将适用。下面，我们将修改此方案，用其估计值替换观察到的报酬。在这两种情况下，等式。（A.17）应通过反向递归来解决，从规划地平线T开始，以终端条件为条件。对于任意时间步长t<t，我们进行如下操作。首先，我们使用等式。（A.17）获取时间t时Q函数的参数。请注意，输入右侧OFEQ的参数。（A.17）在时间t已知，因为它们是使用时间步长t+1确定的值计算的。其次，我们使用公式（83）参数化的计算Q函数，根据公式（44）计算t时刻的F函数。