金融预测深层神经网络课程学习

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Curriculum Learning in Deep Neural Networks for Financial Forecasting》
---
作者：
Allison Koenecke and Amita Gajewar
---
最新提交年份：
2019
---
英文摘要：
  For any financial organization, computing accurate quarterly forecasts for various products is one of the most critical operations. As the granularity at which forecasts are needed increases, traditional statistical time series models may not scale well. We apply deep neural networks in the forecasting domain by experimenting with techniques from Natural Language Processing (Encoder-Decoder LSTMs) and Computer Vision (Dilated CNNs), as well as incorporating transfer learning. A novel contribution of this paper is the application of curriculum learning to neural network models built for time series forecasting. We illustrate the performance of our models using Microsoft\'s revenue data corresponding to Enterprise, and Small, Medium & Corporate products, spanning approximately 60 regions across the globe for 8 different business segments, and totaling in the order of tens of billions of USD. We compare our models\' performance to the ensemble model of traditional statistics and machine learning techniques currently used by Microsoft Finance. With this in-production model as a baseline, our experiments yield an approximately 30% improvement in overall accuracy on test data. We find that our curriculum learning LSTM-based model performs best, showing that it is reasonable to implement our proposed methods without overfitting on medium-sized data.
---
中文摘要：
对于任何金融组织来说，计算各种产品的准确季度预测是最关键的操作之一。随着所需预测粒度的增加，传统的统计时间序列模型可能无法很好地扩展。我们通过实验自然语言处理（编码器-解码器LSTM）和计算机视觉（扩展CNN）技术，以及结合迁移学习，将深度神经网络应用于预测领域。本文的一个新贡献是将课程学习应用于为时间序列预测构建的神经网络模型。我们使用微软的收入数据来说明我们的模型的性能，这些数据对应于企业、中小型企业和公司产品，覆盖全球约60个地区，涉及8个不同的业务部门，总额约为数百亿美元。我们将我们的模型的性能与Microsoft Finance目前使用的传统统计和机器学习技术的集成模型进行比较。以这一生产中模型为基准，我们的实验使测试数据的总体准确性提高了约30%。我们发现，基于LSTM的课程学习模型表现最好，表明在不过度拟合中等规模数据的情况下实施我们提出的方法是合理的。
---
分类信息：

一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Quantitative Finance        数量金融学
二级分类：General Finance        一般财务
分类描述：Development of general quantitative methodologies with applications in finance
通用定量方法的发展及其在金融中的应用
--
一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--

---
PDF下载：
--> Curriculum_Learning_in_Deep_Neural_Networks_for_Financial_Forecasting.pdf (707.76 KB)

2022-6-14 15:02:26 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：网络课程学习 神经网络 网络课程 神经网 Quantitative

金融预测的深层神经网络课程学习？Allison Koenecke1,2[万-0002-6233-8256]和Amita GajewarStanford University，Stanford CA 94305，USAkoenecke@stanford.eduMicrosoft加利福尼亚州桑尼维尔公司，邮编94089，USAamitag@microsoft.comAbstract.time系列模型可能无法很好地扩展。我们通过实验自然语言处理（编码器-解码器LSTM）和计算机视觉（扩展CNN）技术，以及结合转移学习，将深度神经网络应用于预测领域。一种用于时间序列预测的新型连接网络模型。我们使用微软的收入数据来说明我们模型的性能，这些数据对应于企业、中小型企业和公司产品，覆盖全球约60个地区，涉及8个不同的业务部门，总额约为数百亿美元。我们将我们的模型的性能与Microsoft Finance目前使用的集成模型（传统统计和机器学习）进行比较。使用thisin生产模型作为基线，我们的实验在测试数据的准确性方面总体提高了约30%。我们发现我们的基于课程学习LSTM的模型表现最好，这表明我们可以在不过度拟合中等规模数据的情况下实施我们提出的方法。关键词：财务预测·LSTM·扩展CNN·课程学习·时间系列1简介有效商业计划的一个关键方面是准确预测财务的能力。本文是与微软财务团队合作的结果，旨在为他们的企业和中小企业（SMC）集团的预计收入提供指导。？所有研究均由微软公司提供支持。2 A.Koenecke和A.Gajewar分为大约60个地区，然后将每个地区的收入进一步划分为20种不同的产品。

此后，我们将参考用于预测问题的时间序列对应的每个组合。传统的时间序列和机器学习模型[]。在这里，我们扩展了准确性和效率。随着数据变得更加精细，销售团队可以进一步了解情况。然而，这也带来了明显的挑战。随着深度神经网络（DNN）在时间序列领域应用的最新进展[]，本文探讨了长短期分层金融时间序列的应用。在以下部分中，我们将描述priorwork、我们的数据结构和所使用的两个总体DNN模型（LSTMand DCNN）所取得的进步。具体而言，我们描述了预处理技术和每个DNN模型中包含的附加功能带来的增量精度收益，我们解释了结果，并讨论了影响和未来步骤。通过与微软的生产基线准确性进行比较，我们发现我们的课程系列数据在偏差和方差方面实现了更高的准确性和积极的结果。2过去几年来，时间序列的相关工作序列到序列建模一直相当流行，不仅在行业中，而且在教室[]竞争对手中也很普遍。在我们的研究和之前关于时间序列预测的相关工作之间，有三个主要的不同特征。首先，课程学习（如下所述）尚未应用于时间序列趋势。

其次，我们强调了任务中发生的转移学习，从具有完整历史数据的数据行到缺乏递归神经网络（RNN）和卷积神经网络（CNN）数量的数据行，都可以有效地用于中等规模的数据，而不会过度拟合。我们首先介绍了之前关于课程学习的工作，这是自然语言处理（NLP）的金融预测3深层神经网络中的基本课程学习。关于这种方法，短句比长句更容易学习；因此，在没有初始化的情况下，可以通过迭代学习以增加句子长度的顺序进行引导。数据通过使用历史数据预测一个数据行来改善缺失数据问题，并且由于Microsoft数据的规模小得多，因此复制数据相对不可行。我们将在第6节详细讨论影响。最后，我们回顾了之前使用神经网络预测时间序列建模的实例，但可以说最先进的公共方法来自优步，优步使用ahybrid指数平滑和RNN模型赢得了2018年M4预测比赛[]。他们的工作分享了许多涉及去季节化的再处理方法；以及LSTM的使用。然而，优步的应用程序却大相径庭：首先，它们的数据是层次结构元素的顺序（相反，他们的大量协变量需要比我们大得多的数据，而且也没有具体说明或讨论许多数据预记录转换的平均值和反季节化，这对于提高准确性至关重要。3数据3.1数据结构如第1节所述，企业和SMC集团的全球收入被划分为8个业务部门；每个部门被划分为ap4 A.Koenecke和A.Gajewar这些产品的季度收入，按产品组合、细分市场和广泛总量计算。

请注意，为了进行比较，我们将重点放在分部级别（而不是次区域或产品级别）的预测上，因为该级别在历史上一直被业务使用。图1中的所有收入数字均调整为美元。图1：。样本数据行结构（不包括财务值）总体而言，我们在所有数据行的前35个时间步上进行训练，并在最后4个时间步上进行测试；详情见下一节。它所培训的数据行和样本外历史信息的收入。具体来说，我们执行基本数据清理，然后使用历史记录进行模型培训。稍后，我们将转移学习应用于样本数据行的剩余部分（大约占所有数据行的16%）。我们的成绩达到了世界一流水平。3.2由人的判断驱动的Microsoft基线。为了探索更高效、准确和无偏的收入预测，机器学习方法与统计时间序列模型一起进行了探索[]。[]中描述的方法用于计算全球13个地区的预测。在[]中，该方法进一步扩展，以使用每个区域内可用的产品级数据，并为区域内的每个产品生成预测（允许聚合到区域级和全球范围的预测）。这是当前金融预测深度神经网络课程学习的方法。了解本文中提到的基线模型，我们在这里对[6]中的方法进行了高水平的描述。产品的历史收入信息因产品的年龄和流行程度而异；因此，不可能天真地将单一时间应用于非常新的产品（收入数据少于6个季度），这是可用历史收入信息量的简化：1。收入数据超过20个季度的产品。

Microsoft使用的学习模型（如随机林、ElasticNet等）具有验证数据集上计算的最低历史错误。2、收入数据在14至19个季度之间的产品。仅统计时间序列模型是有效的。衍生特征也由这些模型构建，可以用作额外的预测数据点。3、收入数据在6至13个季度之间的产品。只有ARIMA和ETS统计时间序列模型是有效的，因为STL不能在很短的时间序列上进行训练。由于没有足够的历史可用于搁置验证数据集，最终预测是ARIMA预测和ETS预测的简单平均值。总之，上述方法构成了Microsoft基线，将用作我们下面所述结果的基准。4方法时间序列的研究主要受非金融应用的启发。Speci（第4.2节）应用于计算机视觉和语音识别。4.1 RNN模型：编码器-解码器LSTMWe提供了四个变量，每个变量都是在前一个变量的基础上累积构建的，向前走分割[]，其中验证集是四个步骤，分为时间6 A.Koenecke和A.Gajewart培训数据的末尾（即，直到2017年7月）；这称为滚动窗口过程。根据经验选择了15个时间步的窗口大小。当我们从一个窗口移动到下一个窗口时，我们使用从模型中获得的权重对与前一个窗口对应的数据进行训练，以进行初始化。使用滚动窗口过程时的损失函数示例如图2所示；请注意，当我们从零开始一步一步地进行时，就会逐渐失去。图2：。对于LSTMFig上的滚动窗口方法。3、季节分解示例在一个财务数据行basic LSTM上，我们讨论的第一个模型是我们的基本RNN模型。

所有培训、验证和测试数据都是与其他平滑转换相关的平滑历史财务值。一个单层序列，用于对收入进行排序并返回内部状态），以及一个LSTM解码器（用于使用前一个时间步的实际数据和内部LSTM编码器状态来生成下一个输出）。教师强制仅在培训期间使用；为了进行推断，我们输入下一个时间步的预测值作为解码器的输入，而不是教师强制方法中的实际值。接下来，wetimesteps（即过去四个季度的收入）计算测试误差。具有分类指标的LSTM具有附加指标协变量的基本模型（即，模型中包含一个热分类变量）。具体而言，对于金融预测7个变量（分部、区域和产品）的深层神经网络中的三个分类计算学习，我们包括一个热编码，以便在模型中反映分层产品信息。具有季节性的LSTM第三个模型在使用黄土（STL）[]计算趋势、季节和残余成分时，考虑了季节性影响。图3显示了一个示例datarow分解。我们提取季节性其他上述变换（对数和去意义）有助于使数据更加平稳。我们继续使用第二个模型中引入的指标协变量。现在唯一的区别在于推断步骤：除了解码和通过前一年每个季度（时间步）计算的季节值从解码器中获得。LSTM与课程学习第四种模式应用课程应用图4中定义的婴儿步骤课程算法[4,13]。图4：。婴儿步骤课程学习算法【4,13】图。

5.对于滚动预测的课程学习）让我们定义=培训数据和课程排序方法[]的排序（D，C），其中我们的排序方法指定为每个数据行的分部收入加权的剩余趋势。也就是说，我们将根据我们创建的这个新变量对训练数据进行排序，该变量存在于每个datarow中。然后，我们对我们的批次进行排序，使{D，D，…，Dk}=DwhereC（da）<C（db），对于8 A.Koenecke和A.Gajewarda∈ Di，db∈ Dj，换句话说，我们按照前面提到的STL分解计算出的剩余误差的递增顺序进行训练。一旦确定了批次，我们将在培训期间对批次中的数据行进行处理。每个滚动窗口的迭代次数，即可以达到收敛的时间段数。总之，对于每一个=1。。。，K批次，我们运行Dtrain=Dtrain∪ Ds直到图5中每次滚动的阶段结束，在图5中，我们通过实验选择了p=75。我们注意到，有几种方法可以形成上述配料。如上所述计算，即数据行级残余误差（使用5个批次，通过实验确定）。然而，我们也发现了goodsegment），其中批次按收入加权的分部级剩余量排序，以学习更难的批次。因此，我们发现，按照从最佳到最低部分的顺序对批次进行排序，运行课程学习会产生与我们在本文中使用的数据行级（均匀加权）方法类似的结果。然而，我们也尝试使用按相反顺序排序的批次进行课程学习：从最小到最好的部分。这就产生了farand，然后是集合结果，以梳理出不同片段的最佳结果。4.2 CNN模型：扩展CNN交叉迭代。我们注意到，我们没有探索将季节性效应从DCNN模型中分离出来作为预处理步骤。

而在训练模型之前，发现它在季节分解中很有用。这可能是因为DCNN层的指数性质允许我们捕捉长时间序列的季节性，特别是因为我们使用的是应用于LSTM的每个相关数据行的完整方法）。10个扩张卷积层中的每一层的基本扩张CNIN（每层6个宽度为2的过滤器）。具有ReLU激活，以及尺寸为1的致密层。我们将Adam优化器应用于平均绝对误差。教师强制只在培训期间进行，而金融预测9的深层神经网络课程学习会迭代预测四个测试季度的数据，将每个预测附加到历史中，以进行下一个时间步的预测。与LSTM模型类似，传递到DCNN模型中的所有历史财务值都经过对数变换平滑处理，仅在训练数据上进行平均。带分类指标的扩展的CNN第二个DCNN模型weexamine就是上述基本模型，带有额外的指标协变量。具体而言，对于我们的三个分类变量（细分市场、地区和产品），我们包括一个热编码，以便在模型中反映分层产品信息。扩展了CNN与课程学习我们对课程学习应用了与LSTM模型相同的机制，使用季节分解的残差作为预测每个数据行的难度的代理。我们根据数据行级残差进行批处理（使用8批，如实验确定的）。课程学习基于第二个DCNN模型进行，即包括分类变量，但除了课程学习的排序顺序之外，不使用季节性分解。4.3评估2018年7月作为我们的测试数据集。对于某些产品，只有空值我们不将这些产品包括在测试数据集中。

我们在训练神经网络时，使用绝对平均值——权重初始化所涉及的固有随机性，并且考虑到我们的数据是中等大小的，我们将每个实验运行30次，以获得更稳健的误差估计。对于每个数据行，我们将各运行期和各季度的预测平均值作为最终预测，并将该预测收入与实际观测收入进行比较。对于所有数据行。5结果我们发现，有课程学习的LSTM和DCNN模型均优于没有课程学习的相应模型。特别地，带课程学习的编码器解码器LSTM（包括微软生产基线的分类指标。我们进一步发现，课程学习模型可以为各个细分市场产生较低的偏差或方差。出于隐私考虑，不会显示实际的测试错误。表1比较了10 A.Koenecke和A.Gajewar5.1全球错误率所有模型的全球地图。