基于Agent的机器学习代理模型标定

Van Rijsbergen（1979年）。3.4培训程序我们面临的主要限制是可用于模型评估（预算）的参数组合数量有限，而不会产生过多的计算成本。为了解决这个问题，我们提出了一种有预算的在线主动半监督学习方法，该方法迭代地构建一个参数向量的训练集，基于代理的模型在该训练集上进行实际评估，以便为代理的训练提供标记数据点。主动采样参数空间的目的是减少包含感兴趣流形的区域与代理模型生成的函数近似之间的差异。这种半监督学习方法（例如，Zhu，2005；Goldberg et al.，2011）最大限度地减少了所需评估的数量，同时提高了替代者的绩效。考虑到评估的参数化在几轮中聚合，以及参数空间标签的平稳性，我们可以使用Ross et al.（2011）证明的对数收敛结果，为每轮评估的参数化数量提供指导。特别是，我们在C=1的情况下评估每轮的C日志预算参数，还确保在初始种子轮中至少进行一次正校准。注意，常数C可以根据特定的ABM增加或减少。一般来说，正校准代表参数空间中非常小百分比的点。例如，本文介绍的两种ABM中的阳性校准浓度都不到参数的1%。我们的方法利用这种不平衡，通过在有限的几轮中迭代选择一个随机的正预测校准子集。

当我们使用正向预测校准时，我们利用带有代理项的半监督学习来选择下一轮应该评估的参数。为了最大限度地提高计算速度，该算法使用根据参数空间上的准随机Sobol采样绘制的已评估参数组合的固定子集进行初始化（Moroko Off和Ca flisch，1994）。此外，根据Saltelli et al.（2010）中提出的“总变异”分析，绘制样本数量。然后通过ABM评估这些初始“培训”点，记录其标签，并最终用于初始化第一个代理模型。一旦代理项经过训练，新的参数组合将在整个参数空间中进行采样，并使用代理项进行标记。然后从替代物的预测阳性校准中选择一个随机子集合点xiare，并使用ABM评估其真实标签Yi。考虑到Ross等人（2011）给出的对数收敛速度。然后将这些新点添加到训练集中，以便在下一个命令中训练新的代理。这种“自我训练”过程利用数据中的不平衡性来递增地增加真阳性，同时减少假阳性。请注意，这种简单的自我培训程序可能不会产生新的预测积极因素。在这种情况下，该算法根据预测的二进制标签熵选择新点，其中后者定义为预测的正负校准标签概率之间的熵。这一增量过程将持续下去，直到达到目标培训预算。

算法伪代码如图3所示。请注意，在高维空间中，标准实验设计的计算成本很高，与随机抽样相比几乎没有优势（Bergstra和Bengio，2012；Lee等人，2015）。集合：o基于代理的模型ABM∈ RJo采样分布ν∈ RJo校准函数C（·）o学习算法A，带参数Θo评估预算Bo初始训练集大小N BoXT下雨∈ RN×Jo校准标签YT培训∈ NN二元结果案例（至少1次阳性校准）o校准标签YT培训∈ RN实值结果案例（至少1个正校准）o超参数优化算法（HPO）初始化：o每轮采样大小S Bo每轮样本量K B当| Y |<B时，重复1。Θ=HPO（A（Θ，XT raining，YT raining））2。从采样点XOOS中提取∈ RK×J~ ν3. 选择Xsample∈ RS×Jxoos4。评估XT raining=XT raining∪ 计算Ysample={C（ABM（Xsamplei））}i=1。。。S6、评估YT raining=YT raining∪ 图3：我们的训练算法的伪代码。注：Y表示标签；X表示参数向量。HPO：超参数优化；OOS：在样本4中的代理建模示例：Brock和Hommes模型在其开创性贡献中，Brock和Hommes（1998）开发了一个资产定价模型（这里称为B＆H），其中，不同群体的代理根据不同的策略（原教旨主义者、图表主义者等）交易通用资产。我们简要介绍了中的模型（参见第4.1节）。然后，我们报告了经验设置（参见第4.2节）和机器学习校准和探索练习的结果（参见第4.3节）。

回想一下，伪随机数生成器的种子是固定的，并且在模型的不同参数向量之间保持不变。4.1百安居资产定价模型有N名交易员，他们可以投资于无风险资产，该资产以完全弹性的总回报R=（1+R）>1提供，或者投资于风险资产，该资产支付不确定股息y，价格由p表示。财富动态由WT+1=RWt+（pt+1+yt+1）给出- Rpt）zt，（4）其中pt+1和yt+1是随机变量，zt是t时风险资产购买的股份数。交易者对未来价格和分割的预期是异质的，被认为是短视的平均方差最大化者。然而，由于过去的价格和股息信息在市场上是公开的，代理可以应用条件期望值Et和方差Vt。计算了具有h型期望的份额zh、tof代理的需求，求解：maxzh，tEh，t（重量+1）-νVh，t（重量+1）, （5） 这依次意味着zh，t=Eh，t（pt+1+yt+1- Rpt）/（νσ），（6），其中ν控制代理人的风险规避，σ表示条件波动率，假设交易员之间的波动率相等，且随时间变化保持不变。在外部股票零供应和不同交易者类型的情况下，市场均衡方程可以写成：Rpt=Xnh，tEh，t（pt+1+yt+1），（7）其中，nh，tdenotes类型h交易者在时间t持有的份额。在同质交易者、完美信息和理性预期存在的情况下，可以得出无套利市场均衡条件：Rp*t=Et（p*t+1+yt+1），（8）其中预期取决于截至时间t的所有价格和股息历史，其中p*表示基本价格。

股息是独立的，且随时间均匀分布，平均值为常数，方程（8）有唯一的解，其中基本价格为常数且等于p*= E（yt）/（R-1). 在下文中，我们将价格表示为与基本价格的偏差，即xt=pt- p*t、 在每个交易期开始时，t={1，2，…，t}，代理形成对未来价格和股息的预期。代理人的预测是不同的。更具体地说，投资者认为，在一个异质的世界中，价格可能会偏离基本价值fh（·），这取决于过去偏离基本价格的情况。因此，关于h型药物的pt+1和yt+1的信念按照：Eh，t（pt+1+yt+1）=Et（p*t+1）+fh（xt-1.xt公司-五十） 。（9） 经济文献中研究了许多规定不同交易行为和态度的预测策略（例如，Banerjee，1992；Brock and Hommes，1997；Luxand Marchesi，2000；Chiarella et al.，2009）。Brock和Hommes（1998）采用了简单的信念线性表示法：fh，t=ghxt-1+bh，（10）其中gh是趋势分量，bh是交易员类型h的偏差。如果bh6=0，则当gh>0（如果g>R，则为强趋势追踪器）时，代理Hc可以是纯趋势追踪器，如果g<R，则为反向ifg<0（如果g<R，则为强反向）。如果gh6=0，则h型试剂纯粹有偏（如果bh>0或bh<0，则向上或向下有偏）。在特例中，当ghand bhare和bhare都等于零时，代理人是“原教旨主义者”，即她相信价格会回到其原教旨价值。代理也可以是完全理性的，具有frational，t=xt+1。在这种情况下，他们具有perfectforesight，但他们必须支付成本C。在我们的应用程序中，我们使用一个只有两种类型代理的简单模型，其行为取决于趋势组件、偏差和完美预测成本的选择。

结合方程式（7）、（9）和（10），可以得出以下平衡条件：Rxt=n1，tf1，t+n2，tf2，t，（11），这允许在t时计算风险资产的价格（偏离基本面）。交易者根据其不断演变的盈利能力在不同的策略之间切换。更具体地说，每个策略h都与形式的能力度量相关联：Uh，t=（pt+yt- Rpt公司-1） zh，t- Ch+ωUh，t-1（12）式中ω∈ [0，1]是过去利润的权重。在每个时期开始时，代理重新评估其交易策略相对于其他交易策略的利润。代理人选择策略h的概率由以下公式给出：nh，t=exp（βUh，t）Phexp（βUh，t），（13）在我们的实验中，我们考虑到非理性贸易者也可能支付正成本的可能性。这反映了一个事实，即一些交易者可能想要购买他们可能无法使用的额外信息（例如由于计算错误）。表1:Brock和Hommes模型中的参数和探测范围。参数简述探讨了rangeBrock和Hommes模型β强度选择的理论支持[0+∞) [0.0；10.0]第一类交易者的初始份额[0；1]0.5第一类交易者的偏差(-∞; +∞) [-2.0; 2.0]2类交易员的BBIA(-∞; +∞) [-2.0; 2.0]1类交易员的gtrend组件(-∞; +∞) [-2.0; 2.0]2类交易员的gtrend组件(-∞; +∞) [-2.0; 2.0]C获取1类预测的成本[0+∞) [0.0；5.0]ω权重与过去收益之比[0.0，1.0][0.0；1.0]σ资产波动率（0+∞) （0.0；1.0）ν风险态度[0+∞] [0；100]r无风险回报（1+∞) [1.01，1.1]tbhn周期数N 500，其中参数β∈ [0, +∞) 捕捉交易员的选择强度。根据等式13，成功的策略会获得越来越多的追随者。

此外，该算法引入了一定数量的随机性，因为交易者仍可能选择不太合适的策略。通过这种方式，该模型捕获了不完全信息和代理的有限理性。此外，如果所有交易者都采用相同的策略，那么系统永远不会处于均衡状态。4.2实验设计和经验设置尽管模型相对简单，但不同的贡献试图将其产出的统计特性与实际金融市场中观察到的结果相匹配（Boswijk等人，2007；Recchioni等人，2015；Lamperti，2016；Kukacka和Barunik，2016）。这使得模型成为我们的代理测试用例：就计算需求而言，它相对便宜，它提供了一个相当大的参数空间，并且已经在文献中进行了广泛的研究。通过校准确定了12个自由参数（表1）。根据经济推理和之前的模型实验，确定了参数值的范围。然而，他们的选择最终取决于用户的具体决定。Ourprocedure管理建模人员在处理大参数空间时所面临的计算约束。在下文中，我们参考了表1最后一列中规定的区间所跨越的参数空间。当然，它可以根据用户的需要和可用的预算进一步扩展或减少。现在让我们考虑确定正校准的条件。如上所述，模型输出的任何特征都可以用来表示此类条件。根据第3节，考虑了两种类型的校准标准，分别给出了二元和真值结果。

在二元结果的情况下，我们采用了两个样本的KolmogorovSmirnov（KS）检验，检验从数值计算中获得的对数回报分布。我们强调，参数空间的维度与最近的BM元模型研究中的维度一致，甚至更大（参见Salle和Yildizoglu，2014；Bargigli等人，2016）。对模型和真实股市数据进行了仿真。更具体地说，我们根据2013年12月9日至2015年12月7日标准普尔500指数的每日调整收盘价，共进行502次观察，并计算以下检验统计量：DRW，S=supr | FRW（r）- FS（r）|，（14），其中r表示对数回报，FRWand FS分别是真实世界（RW）和模拟（S）样本的经验分布函数。然后，在实值结果中，我们使用KS检验的p值p（D>DRW，S），作为模型与数据的拟合表达式。我们还考虑了二元结果的等效条件，其中p值大于5%的预测标签被视为阳性校准。这种选择是有意的，因为等效条件允许在精度（识别真实校准的能力）和计算时间（在real valuedscenario中有更多信息需要处理）方面比较二进制和实值结果我们在250、500、750、1000、1250、15001750、2000、2250、2500个标记参数组合的10种不同预算中对代理进行100次培训，并在100000个未标记点上对其进行评估。拥有大量样本外、未标记、可能分布良好的点是评估元模型性能的基础。

我们使用的评估集比我们知道的任何其他元建模贡献都要大（例如，见Salle和Yildizoglu，2014；Dosi等人，2017c；Bargigli等人，2016）。4.3结果在图4中，我们显示了Brock和Hommes（B&H）模型的参数重要性结果。我们发现，与SP500中收益率的经验分布最相关的参数是表征交易员对趋势的态度（gand g），其次是他们的偏见（b带）。该结果与Recchioniet al.（2015）和Lamperti（2016）使用相同模型得出的最新发现一致。此外，“选择强度”参数（β，参见第4节）在Brock和Hommes（1998）开发的原始模型中至关重要，但与其他行为参数（至少在表1所示的范围内）相比，在确定模型与数据的拟合度方面似乎并不特别相关。此外，交易者的风险态度（α）和与topast利润相关的权重（ω）对塑造模型的实证表现相对而言并不重要。现在让我们来考虑代理的行为。如第3.2节所述，我们进行了一系列练习，其中使用代理来探索模型在参数空间上的行为，并过滤出与实际股票市场回报分布相匹配的正校准。图5收集了结果并显示了代理在两种建议设置（二进制和实值结果）中的性能。在二元结果练习中，F分数随着训练样本的大小而增加，并达到约0.80Let pt和pt的峰值-1b资产在随后两个时间步的价格。

t的对数返回- 1 tot由rt=对数（pt/pt）给出-1） \"(pt)- pt公司-1） /磅-1、数据来源于雅虎财经：https://finance.yahoo.com/quote/%5EGSPC/history.The如果在5%置信水平下未拒绝“分布相等”的零假设，则通过测试。另见Boswijk等人（2007年），其中作者估计了SP500上的B&H模型，并且在许多练习中，发现切换参数并不重要。图4：每个参数（特征）在根据特定条件（即模拟收益和实际收益分布相等）塑造Brock-andHommes模型行为中的重要性。如第3.3节所述，此图表显示了每个参数基于相对论的重要性。使用2500个点时（见图5a）。换言之，真实阳性校准比例与替代者正确预测的阳性校准比例之间的平均值为0.8。考虑到1的上限和各种实际应用（例如Petrovic et al.，2011；Cire,san et al.，2013），我们认为前一个结果令人满意。然而，应根据替代者的搜索能力来评估此类分类绩效，如图5c所示，并表明该替代者能够找到的总正校准份额。具体而言，我们发现，在大量样本外点中，大约75%的阳性校准结果都是存在的。显然，随着训练样本量的减少，代理的性能会恶化。然而，一旦我们转到实值设置，即使用连续变量（包含有关模型行为的更多信息）学习代理项，其性能会显著提高。