预测债券价格的更好模型的机器学习

！+*/（！：（/-*，！R-#4美元3美元，S！！ TU#&/$\'5=！NG！E/，-（*+*！V（%/$\'5=！N！V1，*（？\'4#$！W*/7，+！R“#$%！X&：#（+\'$-*S=！\'$%！YZ！F#$4$3，！R[\'4#S！9O（/13+*，！！！），！！！ I#，+！\'O（/13+*，！3$-\\；（（*5“+*%\\！+<\\！，*+，！&/5%52！-\\；（*5“+*%！R！--！^！\\U 8GS！&；“4”（\'）2=%C$\'**HI3）-（3/\'0%30（%？）”3、3@$“%<”../\'0%J“*@）；*%K3@$“%\'+%\'@$%：3；3*”；F%！L$“3；G”0；%\'+%C3；“2’$-.3）%I3$-38）”*F%！！ B、 *%！\'，！%*-/，/\\$！？\'（/\'15*，！6#）（！（*7（*，/$！+（**，！/$！*$，*&15*！&*+。#%，！！ `E 3和2！F#%/$7a！/，！3、*%！/$、/%*！（*7（*、/、/、$！&*+.、！C43））“02”*F%！！ b、 *！4&**（/*，！5*$7+.！/，！\\$！+*！1（（*）（*（5/$*！\\35; 6！+.+.+）（*；3/（*%！6#）（！\'，+\'4,4-\'552！-\\$，/，+*$+！4&*L，*（/*，！：（*%/-4#$！！）！！ b、 *！%/+（/1 34#$，！#6！+.*！-“+*7#”（/-\'5！\'O（/1 3+*，！/，！$#+！3$/6#）（&！）！！ b、 *！%/+（/1 34#$！#6！%/c*（*$+52！<*/7.+*%！1#$%，！/，！</5%5 2！%/，：\'（“+*！c$”3/“0%”+%L“*；%30%（L$3-0-02%<”；*F%！！ X&：5*&*$+#3（！\\<$！\'5 7（/+.&！-（*\'4$7！<*/7.+！1\'5\'$-*%！，*+，！！ d/？*！，3-.！，*+，！\'（*！-（*\'+*%！（\'$%#和52！6#）（！\\35; 3（！&#%/K*%！F e！，+（\'+*72！0 5 1000.51债券SPDF的重量S et0 5 1000.51债券SPDF的重量t集！7K：%，JMC>%，J>：MCLM7K%！<1，！JIM>：%5>NJKMKE！>K<>&！5>&>LO7：<>。！JM:%LM&>%%JM><！K>1JN5%K>LA7JD<%QKKR！！ CJI，！！ fF[！！ Ae[！！ “##+，+（\'：：/7美元！！ [\'$%#和！d#（*，+，！！ 是啊！L“##，4美元7！！ 9[I9！！ e9[通用电气高频！！ b<#L J\'2*（！！ I35 45\'2*（！>$$\'$%&；；$-.%QA“-24；”（>$$\'$%，“$%<3GS）”%H%A>，<RF%！0 0.5 1.5 2 2.5 300.511.522.53培训错误，$测试错误，$测试错误vs.培训错误10-210010200.511.522.53执行时间，HoursTest Error or，$Test Error vs.执行时间10000.511.522.53训练错误，$Test Error，$Test Error vs.训练错误广义线性模型NCipal Component regression TreesRandom ForestsLS BoostNeural NetworksARMAGLM w/ARMA10000.511.522.53训练错误，$Test Error，$Test Error vs.训练错误。

训练误差广义线性模型主成分回归回归树随机森林SLS增强神经网络ARMA！ F（*\'+*！Z！/$，+\'$-*，！\\35; 6！<*/7。+L1\'5\'$-*%！+（\'/$/$7！\'$%！+*，+！，*+，！！ [3$！IJ！957（/+.&，！$！*\'-.！\\6！+*，*！Z！+（\'/$/$7！\'！$%！+*，+！，*+，！！ [*：#（+！WhfA！6（#&！*\'-.！#6！+.*Z！/$%*：*$%*$+！（3$，！！ d/$\'5！WhfA！/，！+.！\'*（\'7*！\\6！+*，*！Z！？\'53*，！C$\'**HI3）-（3/\'0%NSS$\'3.4F%！，CN%？“3；@$”%<“）。/\'0%+\'$%E5和*%F%！！ E/-）*2Ld355*（！\'$%！h$75*信用证（\'7*（！+*，+，！3，*%！+；！\'，*，，，+\'4#$\'（/+2！\'）$%！-\\L/$+*7（\'4#$！\\35; 6！4&*，*（/*，=！（*，：*-4？*52！）！！ A： *-/62！\'$！93+#L[*7（*，，/？*！I#？/$7！9？*（\'7*！&#%*5i！9[I9RN=NS！！ d/+！9[I9！+#！4&*！，*（/*，！%*，-（/1/$7！%/c*（*$-*！/$！-3（？*！\'$%！+（\'*！：（/-*！！！）！！！ 9个*（\'7*！&#%*5！*，4&\'+*%！6（#&！N！/，+）（/-\'5！，\'&：5*，！：*（！1#$%！-5\'，！3，*%！+：（*%/-+！%/c*（*$-*！1*+<***$！-3（（*$+（\'%*+（\'****！%*）！%！%！%！%！-3（？！：（/-*），！！ 9[I9！6#（*-\'，+！6#（！*\'-.！1#$%！-5\'，！3，*%！\'，！\'%/4#$\'5！CJI！6*\'+3（*！！）！！ U#4-*\'15*！%*-（*\'，*！/$！WhfA！-\\\\&：\'（*%！+\\\\！3，/$7！1 \\$%！XE！，*（/*，！L-G“%<”$-“*%QL<R%+”$%？”3、3@$%E“0”$3/\'0F%！！ V$5 2！GT#3岁以上#6.ZQ！fF9！6*\'+3（*，！*c*-4？*52！5/$*\'（52！/$%*：*$%*$+！！ d*\'+3（*！-#$+\'/$/$7！*@-53，/？*52！55！：（*？/#3，！：（/-*，！\'$%！\'5！：（*？/#3，！/$+*（&*%/\'+*）！-3（？*L：（*%/-+*%！：（/-*，！.，！.，！&&#，+！*@：5\'+（2！：）#<*（！？“3；@$”%<“）。/”0%+\'$%>0*“G8”%&“4”（*F%！！ CJI！&#%*5.7*$*（\'552！：*（6#）（&！<*55！</+）。

哦！5#<！-#，+！！ 937&*4美元7美元！6*\'+3（*！，*+！</+！bA！&#%*5，！/&：（#？*，！：*（6#（&\'$-*）！！ h$，*&15*！&*+.#%，！%#！$+！，***&！+#！，31，+\'$4\'5 52！/&：（#？*！（*，35+，！！ U*3（\'5！$*+<\\；（），！7/？*！&#，+！\'--3（+*！（*，35+，！</+。#3+！？*（7斯里兰卡克朗！！！ K“@$3）%0”；T“$B*%30（%E5和*%2-6”%8“*；%*S”“（H3..@$3=%S$\'U）”*%！ [\'$%\\&！d#（*，+，！R[dS！”（*！3，*%！6#）（！6*\'+3（*！（\'$）/$7！）！！ A-#（/$7！63$-4#$！，-#（*，！*\'-.！6*\'+3（*！/6！/+！\'：：*\'（，！\\$！GZk！\\35; 6！+（**，！！），！！ [*-3（，/？*52！\'，，/7$！\'？*（\'7*！WhfA！#6！*？*（2！+（**！/$！<./-.！\'！6*\'+3（*！\'：：*\'（，！+\\35；！+.+。+！6*\'+3（*！，！/+，！，-\\35；（*！！！）！！！ X&：（#？*！4&*！，*（/*，！&#%*5，！R&#%*5！+2::::::$%！，：*-/K-\'4 \\$S！！ h@：5#（*！%*：！5*）（$/$7！R*$-#3（\'7*%！12！：*（6#）（&“$-*！\\35; 6！UU，S！）！！ h@：5#/+！：\'（\'55*5！/&：5*&*$+\'4#$！#6！\'5 7#（/+.&，！6#）（！&#%*5！+3$/$7！！ X6！：#、、/15*=！\'%%&#（*！%“+”！+“！”！\\35; 3（！4&*！，*（/*，！6#）（！*”-.！1#$%！！J“+”$“0”。*%N8级 l\'，4*=！b8=！*+！\'5=！mh5*&*$+#6.A+\'4,4-\'5！J*\'（$/$7n=！A：（$/$7*（8！G8 l355=！D8F8=！mV:4#$，=！d3+3（*，！\'$%！V+*（！E*（/？\'4？*），n=！f（*$4-*Ll\'558！T8 A、 3&<\'2=！[8l8=！*+！\'5=！mb/&*！A*（/*，！9$\'52，/，n=！A：（/$7*（8！）！-10-5 0 5 10050100150200250300350400450类别平均ARMA预测ARMA交易曲线差异预测，$债券类别数量0 10 20 30 40 50 60012345678 PCA特征测试错误数量，$WLS测试错误vs.PCA特征数字RA/&：5*！！“\'-）：（#：\'7\'4#$S！CS 229机器学习o项目里程碑报告o2014年12月6日将实现班级平衡。

相反，为了利用所有给定的数据，我们求助于70-30保持交叉验证。为了做到这一点，我们使用以下算法创建权重平衡的训练和测试集。交叉验证步骤IRA的算法可创建5个权重平衡训练集和测试集实例。第二步在这5个训练集和测试集中的每一个上运行机器学习算法。步骤III从5次独立运行中的每一次中报告适当的指标（如下所述）。第四步评估指标的最终值是这5个值的平均值。为了证明我们的集合确实是权重平衡的，我们在图？？？中绘制了一个训练集和测试集中债券权重的PDF？？。模型评估指标：预测更高的债券价格会导致保守策略，无法充分利用市场。另一方面，预测较低的价格将导致比要求更激进的战略。由于从我们的角度来看，这两个方面都同样糟糕，因此我们根据实际价格与每个样本（债券）的预测之间的差异的加权L1范数来评估我们的预测。因此，我们选择的模型评估指标是预测样本中的加权误差（WEPS），定义为WEPS=mi=1wi(Y真的ypredic t公司)mi=1wi（1）特征创建和选择：这通过以下方式处理：相关性分析：没有提供的属性是强相关的。只有两组属性存在轻度相关性。因此，这种方法对我们没有帮助。监督学习中的主成分分析（PCA）：主成分分析（PCA）在完整数据集上运行，目的是确定是否存在保留完整特征集大部分解释能力的缩减特征集。使用内置的Matlab工具箱计算训练集上的PCA，以获得回归系数。

在进行主成分分析之前，通过均值减法和方差归一化对数据进行变换。这对于下文讨论的主成分回归（PCR）的适当实施具有重要的应用。集成方法的评分函数：使用随机森林（RF）进行特征排序。RF将使用替换随机选择特征，并将每个子集分组到一个单独的子空间（称为“Andom子空间”）。我们采用以下方法使用评分函数。如果25%的树中出现特征X2，则对其进行评分。否则，我们不会考虑对功能进行排名，因为我们没有关于其性能的充分信息。然后，我们将X2出现的每棵树的性能得分分配给X2，并对得分进行平均。例如：如果性能（Tree1）=1-WEPS=0.85，则性能（Tree2）=0.70，性能（Tree3）=0.30。然后，特性X2的重要性=（0.85+0.70+0.30）/3=0.6167。我们的搜索方法是递归的：例如，在第一轮中，我们去掉了最差的20%，第二轮也是如此，依此类推，直到我们得到所需数量的特征。这个数字已经过实验。四、 监督学习模型注意，所有预测误差都是根据我们的交叉验证算法计算的。广义线性模型实现了监督学习的几种模型。首先，为了研究数据的潜在分布，使用各种链接函数和全特征集实现了一个未加权的广义线性模型。虽然财务数据通常具有明显的正态变化，但在继续之前，确保这一假设有效很重要。我们报告了使用链接函数对正态、伽马、泊松和二项分布进行普通最小二乘（OLS）回归的结果。

评估这些不同情况下的培训和测试错误表明，正常假设似乎是数据的最佳特征。此外，残差的正态分布强化了这一结论。为了在最小化误差方面改进这些结果，使用评估权重执行加权最小二乘法（WLS），以适当地控制哪些点在回归中的重要性最高。WLS比OLS有显著改善。主成分回归接下来，我们继续使用reducedfeature集实现PCR。我们使用此过程将特征集的大小减少到23个特征，因为PCA例程报告所有高于23的主成分都是线性相关的。为了基于PCA进行预测，我们提取PCA算法中使用的变换，并将其直接应用于测试数据。一旦数据为3方法最佳WEPS训练最佳WEPS测试最佳模型训练时间广义线性模型0.7722 0.8147 WLS 20秒带PCA（PCR）的广义线性模型0.8626 0.9191 23特征WLS 12秒混合时间序列方法0.7676 0.8091 WLS w/ARMA（1,1）12秒回归树（RT）0.0055 2.4369所有预测值83小时随机森林（集成方法）带RT0.8354 1.0623 300回归树78小时LS Boost（集成方法），弱学习者：RT 0.8012 0.8236 500弱学习者23小时神经网络（前馈）0.6668 0.7012两层30个神经元32小时图3：测试误差与训练误差和训练时间的关系。八、

结论和未来工作预测债券价格：（i）GLM模型表现良好，计算量小得多，（iv）神经网络SNS和GLM在组合速度和准确性方面给出了最佳结果。未来有几个富有成效的方向，这将允许更详细的时间序列模型在统计上有重要的规定，以改进特征增强。研究不同类别机制的性能将非常有用。第二，多层网络的神经计算和深度学习方法的成功，将极大地增强我们在未来几个月内对其中几个进行研究的能力。九、 Stanford Corn群集上一个节点的算法性能摘要。CS 229机器学习o最终项目报告o斯坦福大学o12月11日，2014年方法WEPSTrainWEPSTestTrainingTimeGeneralized Linear ModelsOLS 0.8043 0.8455 23 secondsWLS 0.7722 0.8147 20 secondsGamma 1.8681 1.9499 28 Seconds带PCA（PCR）的广义线性模型23 Feature WLS 0.8626 0.9191 12 seconds3 Feature WLS 1.1945 1.2637 3 secondsHybrid Time Series MethodsARMA（1,1）模型0.9822 0.9862 6小时WLS带ARMA 0.7676 0.8091 12秒9功能WLS 0.8252 0.8711 4秒9功能WLS带BondID0。8256 0.8710 4秒9功能WLS带ARMA0。

8054 0.8477 4秒回归树（RT）所有预测因子0.0055 2.4369每个节点83小时5个预测值0.0117 2.552723小时每个节点10个预测值0.0066 2.662428小时每个节点15个预测值0.0058 2.9765每个节点32小时20个预测值0.0056 2.918637小时用RT试验的其他方法也用RT50回归树0.9588 1.1259对数据随机森林（集成方法）进行了拟合22小时100回归树0.9011 1.087642小时200回归树0.8876 1.073563小时300回归树0.8354 1.062378小时增强（整体法），弱学习者：RT100弱学习者0.9613 1.0091 5小时250弱学习者0.9223 0.989712小时400弱学习者0.8668 0.904519小时500弱学习者0.8012 0.823623小时神经网络（前馈）两层5神经元0.7095 0.7344 2小时两层10神经元0.6817 0.7139 8小时2层20神经元0.6767 0.710814小时两层30神经元0.6668 0.701232小时表1：结果摘要参考文献[1]赫尔，J.C.，期权、期货和其他衍生品，普伦蒂斯大厅，第8版，2011年。[2] Hastie，T.、Tibshirani，R.、Friedman，J.H.、The Elementsof Statistical Learning，Springer，2nd Ed，2009【3】Shumway，R.H.、Time S Series analysis，Springer，3rd Ed，2010.7图4：结果总结。参考文献【1】挑战，www.kaggle。com，2014年。[2] 普伦蒂斯大厅，第8版，2011年。[3] Hastie，T.、Tibshirani，R.、Friedman，J.H.，《统计学习的要素》，斯普林格出版社，第二版，2009年。[4] 2010年。