EPEX订单上的机器学习：见解和预测

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Machine Learning on EPEX Order Books: Insights and Forecasts》
---
作者：
Simon Schn\\\"urch and Andreas Wagner
---
最新提交年份：
2019
---
英文摘要：
  This paper employs machine learning algorithms to forecast German electricity spot market prices. The forecasts utilize in particular bid and ask order book data from the spot market but also fundamental market data like renewable infeed and expected demand. Appropriate feature extraction for the order book data is developed. Using cross-validation to optimise hyperparameters, neural networks and random forests are proposed and compared to statistical reference models. The machine learning models outperform traditional approaches.
---
中文摘要：
本文采用机器学习算法对德国电力现货市场价格进行预测。预测特别利用现货市场的买卖订单数据，以及可再生能源进料和预期需求等基本市场数据。对订单数据进行适当的特征提取。利用交叉验证优化超参数，提出了神经网络和随机森林，并与统计参考模型进行了比较。机器学习模型优于传统方法。
---
分类信息：

一级分类：Statistics        统计学
二级分类：Applications        应用程序
分类描述：Biology, Education, Epidemiology, Engineering, Environmental Sciences, Medical, Physical Sciences, Quality Control, Social Sciences
生物学，教育学，流行病学，工程学，环境科学，医学，物理科学，质量控制，社会科学
--
一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--

---
PDF下载：
--> Machine_Learning_on_EPEX_Order_Books:_Insights_and_Forecasts.pdf (883.69 KB)

2022-6-24 04:40:47 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：机器学习 Applications epidemiology Econophysics Quantitative

EPEX订单上的机器学习：洞察和预测。施努尔*和A.WagnerFraunhofer ITWM，Fraunhofer工业数学研究所ITWM，Fraunhofer Platz 1，67663 Kaiserslautern，Germany2019年9月6日摘要本文采用机器学习算法预测德国电力现货市场价格。这些预测特别利用了现货市场的出价和任务订单数据，还利用了可再生能源进料和预期需求等基本市场数据。对订单数据进行适当的特征提取。利用交叉验证优化超参数，提出了神经网络和随机森林，并与统计参考模型进行了比较。机器学习方法优于传统方法。关键词：机器学习、神经网络、随机森林、电力市场、可再生能源、现货价格、预测。1简介预测电价是能源公用事业公司的一项重要任务，不仅对于自营交易，而且对于优化发电厂生产计划和其他技术问题都是必要的。电力价格预测中一种很有希望的方法是使用对市场基本面（如需求或可再生能源供给）的预测重新计算订单。然而，这种方法需要对市场数据进行广泛的统计分析。在这篇文章中，我们检验了EIF以及如何使用机器学习来减少统计工作。我们的论文主要关注两个研究问题：o如何将电力市场的订单纳入机器学习算法如何使用机器学习改进基于订单簿的现货价格预测？我们考虑德国/奥地利的EPEX电力现货市场。每天都有一场电力拍卖会，第二天交货。每天24小时都作为单独的产品进行交易。

图1显示了不同*通讯作者：simon。schnuerch@itwm.fraunhofer.deFigure1：不同时间尺度上的电价时间序列示例。图2：不同规模上特定小时的订单数据。时间尺度。价格的显著季节性及其高度波动性显而易见。在下文中，我们将简要解释基于订单簿的价格预测的思想。每一个价格都是拍卖的结果，可以用买卖曲线来表示。对于特定的小时，这些曲线如图2所示。买入（买入，需求）和卖出（卖出，供应）曲线的中间部分是市场清算价格（MCP）。在放大图中，可以清楚地看到，买卖曲线是阶跃函数。每一步宽度是市场参与者在拍卖中以一定价格投入的累计量。价格水平实际上与不同发电厂的边际生产成本相对应。由于监管环境，尤其是可再生能源在拍卖中以负价格出价。此外，与传统发电厂相比，可再生能源的生产量是随机的，总预期产量在交易所出售。根据这些经济情况，theorder book-based forecasting在买卖曲线中修改了不同价格水平下的交易量。修正值与预测的风能和太阳能馈入相对应。一个重要的问题是，可再生能源影响了哪些价格水平。通常，能源公用事业公司对历史数据进行详尽的统计分析，以确定价格水平和可再生能源预测的影响。事实上，还有其他影响市场价格的基本因素，首先是预期电力需求。

本文主要研究机器学习方法，以减少构建预测模型的工作量。在下一节中，我们将概述有关电力市场经济学、基于订单的模型以及机器学习在价格预测中的应用的现有文献。在第3节中，我们详细介绍了我们的方法。第4节介绍了数值结果，并与文献中的其他模型进行了比较。第5节结束。另一个有趣的特性是，与其他商品或股票的价格系列相比，电价可能会变成负值。图3：风能和太阳能对价格的影响。2关于电力市场中价格预测和机器学习的现有文献太阳能和风能在当今的选择性市场中发挥着越来越突出的作用。实证研究表明，可再生能源发电既具有高度的波动性，又对日前电价有重大影响（Wagner（2014））。使用多元回归方法，不同的作者量化了可再生能源进料对价格的影响（Cludius、Hermann、Matthes和Graichen（2014）；W¨urzburg、Labandeira和Linares（2013年））。较高的可再生能源供给通常会导致较低的市场价格。图3中风能和太阳能的典型价格分别显示了对每小时价格的影响。因此，我们还使用预期的太阳能和风能馈入作为价格预测的特征。有大量关于电价预测的文献，其中Chaggarwal、Saini和Kumar（2009）给出了早期概述。他们的调查涵盖了1997年至2006年间发表的47篇论文，主题从博弈论到时间序列和机器学习模型。

Weron（2014）对最近的extensiveliterature进行了概述，其中作者区分并描述了电价预测的五个模型类，即博弈论模型、基本模型、简化模型、统计模型和机器学习模型。文章最后讨论了该领域未来的挑战，包括特征选择、概率预测、组合估计、模型可比性和多变量因子模型等问题。关于这最后一个方面，Zieland Weron（2018）对价格预测的不同单变量和多变量模型结构进行了实证比较。通过比较几个数据集上总共58个模型，他们发现没有一个单一的建模框架能够始终获得最佳结果。应用于价格预测的统计方法包括，例如，动态回归和传递函数（Nogales、Contreras、J.Conejo和Espinola（2002））、小波变换和ARIMAmodel（Conejo、Plazas、Espinola和Molina（2005））以及加权近邻技术（Troncoso、Santos、Gomez Exposito、Martinez Ramos和Riquelme（2007））。机器学习方法在电价预测中有很多应用。Amjady（2006）比较了西班牙市场的一个隐层模糊神经网络与ARIMA、小波ARIMA、多层感知器和径向基函数网络模型的性能。Chen等人（2012年）还在澳大利亚使用了一种具有一个隐藏层的神经网络和一种称为极限学习机的特殊训练技术。在同一市场上，Mosbah和El Hawary（2016）就2005年的温度、总需求、天然气价格和电价数据培训了一个多层网络，以预测2006年1月的每小时电价。

为了展示神经网络相对于时间序列方法的优越性能，Keles、Scelle、Paraschiv和Fichtner（2016）进行了广泛的研究，重点关注变量选择和超参数优化的重要主题。他们通过k-近邻后向消元法选择最具预测性的特征，并采用6倍交叉验证来优化神经网络多个超参数的预测性能。结果表明，该网络的性能大大优于基准模型。最近，使用了更复杂类型的神经网络：在一项基准研究中，Lago、Ridder和Schutter（2018）比较了最多2个隐藏层的前馈神经网络、径向基函数网络、深层信念网络、卷积神经网络、简单递归神经网络，LSTM和GRU网络与几种统计和其他机器学习方法（如随机森林和梯度提升）相结合。通过Diebold-Mariano检验，他们显示了深度前馈、GRU和LSTM网络方法在比利时市场数据上的表现明显优于其他大多数方法。Marcjasz、Uniejewski和Weron（2018）考虑了一种非线性自回归（NARX）神经网络模型，该模型特别考虑了长期价格季节性。他们还使用了Diebold-Mariano检验，结果表明，相对于相应的ARX基准，这种方法可以提高日前预测的准确性。在上述研究中考虑的特征中，历史电价、总需求序列、总需求预测、可再生能源影响预测、天气数据和日历信息定期出现。另一方面，据我们所知，首先使用供需曲线进行价格预测的是Ziel和Steinert（2016）。

他们的目标是通过为这些曲线建立时间序列模型，然后预测未来市场清算价格作为相应预测曲线的交点，来填补时间序列分析和结构分析之间的差距。他们比较了基于这种方法的多种时间序列预测方法。然而，他们没有研究机器学习技术是否可以提高他们模型的性能。3 MethodologyData准备和订单特征提取我们的数据范围为2015年1月2日至2018年9月18日（31823次单次拍卖），包括来自德国/奥地利电力现货市场EPEX的订单数据、来自EEX的预期风能和太阳能进料透明度数据以及来自ENTSO-E的预期总需求数据。为了避免数据挖掘，时间段结束时，20%（约9个月）的可用数据被保留用于样本外模型评估（见第4节）。对于特征提取，即将订单转换为数字向量，我们使用了Coulon、Jacobsson和Str¨ojby（2014）以及Ziel和Steinert（2016）的思想。设P：={-500, -499.9, . . . , 2999.93000}是可能的价格和T的集合：={T，T，…，tT-1，tT}有可用数据的时间点集。每个t=（d，h）∈ T是由日期为∈ {2015年1月2日，2015年2月2日，…，2018年9月18日}和一小时∈ {0, 1, . . . , 23}. 我们在时间t呈现供需数据∈ T作为向量VSt（P）P∈Pand公司VDt（P）P∈P、 其中，VSt（P）和VDt（P）分别表示供应量和需求量，在价格水平P下投标∈ P、 时间t的市场清算价格由EPEX通过EUPHEMIA算法确定，该算法也考虑复杂订单。我们的数据集中没有关于此类订单的信息，因此期望任何学习算法将其纳入价格预测是不合理的。

因此，我们仅考虑可用的供需数据，计算市场结算价格，并将其作为价格预测的目标值。为此，我们定义了所谓的供需曲线st（P）：=Xp∈P、 P≤PVSt（p）和（1）Dt（p）：=Xp∈P、 P≥PVDt（p）。（2） MCP P P*在供需曲线的交叉点。AsStand Dtare阶跃函数，P的显式公式*皮重相当技术性，因此省略。我们参考图2以获取图形说明。为了降低维数，我们将P划分为价格类，并使用每个价格类的体积作为特征。为了确定这些类，我们使用了一种启发式方法，目的是使它们的平均体积大致相同。这确保了在曲线的有趣部分，即在有许多出价的价格区域，有更多的价格类别。我们首先平均所有时间点的供给曲线，得到（P）：=TXt∈P的TSt（P）∈ P、 （3）然后，我们确定第五卷*> 0表示每个price类应该包含onaverage和相应的分区P。我们计算类的数量，MS：=min我∈ 编号：iV*> S（3000）, （4） 并设置▄cSi：=（最小值P∈ P:S（P）≥ （四）*对于i=0，毫秒- 13000对于i=~MS.（5）现在，我们定义了类▄CSi：=（[▄CSi-1，▄cSi】对于i=1（▄cSi-1，▄cSi】对于i=2，~MS，（6）其中，我们采用（c，c）或[c，c]表示单态{c}。通过删除多次出现的间隔，我们得到成对不同的价格类别CSi=（CSi-1，cSi]以及相应的卷特性vst（cSi）：=XP∈i的CSiVSt（P）∈ {1，…，MS}，（7）图4：V的平均供给曲线*= 1000，图摘自Ziel和Steinert（2016）。其中MS≤MSdenotes唯一价格类别的编号。

虽然这些细节都是技术性的（另请参见Ziel和Steinert（2016）），但图4中的图形说明应该可以直观地说明这一想法。遵循相同的逻辑并使用类似的符号，我们得到边界cD，cD，CDM和需求曲线的相应价格类别。与原始供需曲线类似，我们可以计算价格类别得出的价格，当然，一般来说，价格与实际市场结算价格P并不完全一致*t、 最后，为了在不丢失任何基本信息的情况下简化实现和解释，我们将供需特征转换为所谓的价格曲线。为此，让{cX，cX，…，cXMX}成为供需价格类别边界的上升有序联合体。基于此，与（6）和（7）类似，我们定义了新的价格类别CX、CX、，CXMXandvolume功能文本CXk公司:=XP系统∈CXk公司VSt（P）+VDt（P）. （8） 我们使用这些价格曲线特征，此外还使用总需求Dt(-500）作为价格预测的输入。图5显示了根据给定的供需曲线计算出的价格曲线示例。这种转变也有一种经济学解释：事实上，电力需求是高度价格非弹性的，因此恒定的非弹性需求是当时的预期总电力需求。价格曲线就是所谓的价值顺序，它代表了按可变生产成本排序的发电机组。有关更多详细信息，请参阅Burger、Graeber和Schindlmayr（2014）等电力市场标准文献。

请注意，价格曲线仍包含计算结果价格所需的信息：MCP位于累积价格曲线的交点图5：转换后的供需曲线到价格曲线（黑色虚线）和非弹性需求（绿色虚线垂直线）。以及恒定的非弹性需求。除了价格曲线和非弹性需求外，我们还使用可再生能源进料和总需求预测以及一些日历信息作为特征，即o年作为数字变量，o夏令时的二进制变量，o日类型作为一个热编码的分类变量，具有三个不同的值（工作日、周六/桥牌日、周日/假日）、o月和o小时。为了说明月份和小时的周期性，我们将这些值投影到一个圆上，并使用二维投影作为特征。更准确地说，ifdate t∈ T位于m月∈ {1，…，12}表示小时h∈ {0，…，23}，这是编码为asmonthx（t）：=sin2πm, 月（t）：=cos2πm和（9）hourx（t）：=sin2πh, 小时（t）：=cos2πh. （10） 对于预测，我们使用前一天的价格曲线特征，即所谓的参考日期r（d）。为了便于记法，我们写r（t）：=（r（d），h）。作为d的参考日期，我们使用d之前最近的一天，该天与d的类型相同。这是能源经济学中一种简单但有效的技术。确定参考日期的更为复杂的方法可能会包含可回收进料和需求文件的相似性。学习算法的训练我们使用普通线性回归、随机森林和前馈神经网络预测每小时电价。请注意，我们使用数量特征VXt（CXk）隐含的价格作为目标值，这意味着我们的目标预测价格达到cX、cX、，cXMX。