一种基于深度卷积模糊系统的快速训练算法

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Fast Training Algorithms for Deep Convolutional Fuzzy Systems with
  Application to Stock Index Prediction》
---
作者：
Li-Xin Wang
---
最新提交年份：
2019
---
英文摘要：
  A deep convolutional fuzzy system (DCFS) on a high-dimensional input space is a multi-layer connection of many low-dimensional fuzzy systems, where the input variables to the low-dimensional fuzzy systems are selected through a moving window across the input spaces of the layers. To design the DCFS based on input-output data pairs, we propose a bottom-up layer-by-layer scheme. Specifically, by viewing each of the first-layer fuzzy systems as a weak estimator of the output based only on a very small portion of the input variables, we design these fuzzy systems using the WM Method. After the first-layer fuzzy systems are designed, we pass the data through the first layer to form a new data set and design the second-layer fuzzy systems based on this new data set in the same way as designing the first-layer fuzzy systems. Repeating this process layer-by-layer we design the whole DCFS. We also propose a DCFS with parameter sharing to save memory and computation. We apply the DCFS models to predict a synthetic chaotic plus random time-series and the real Hang Seng Index of the Hong Kong stock market.
---
中文摘要：
高维输入空间上的深卷积模糊系统（DCFS）是许多低维模糊系统的多层连接，其中低维模糊系统的输入变量是通过跨层输入空间的移动窗口选择的。为了设计基于输入输出数据对的DCF，我们提出了一种自下而上的逐层方案。具体而言，通过将每个第一层模糊系统视为仅基于很小部分输入变量的输出弱估计量，我们使用WM方法设计这些模糊系统。在设计了第一层模糊系统之后，我们将数据通过第一层来形成一个新的数据集，并以与设计第一层模糊系统相同的方式基于该新数据集来设计第二层模糊系统。我们逐层重复这个过程来设计整个DCF。我们还提出了一种具有参数共享的DCFS，以节省内存和计算量。我们应用DCFS模型预测了一个合成的混沌加随机时间序列和香港股市的实际恒生指数。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--

---
PDF下载：
--> Fast_Training_Algorithms_for_Deep_Convolutional_Fuzzy_Systems_with_Application_t.pdf (1.26 MB)

2022-6-11 08:25:36 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：模糊系统 Applications Quantitative Econophysics Application

摘要：高维输入空间上的深卷积模糊系统（DCFS）是多个低维模糊系统的多层连接，其中低维模糊系统的输入变量是通过跨层输入空间的移动窗口选择的。为了设计基于输入-输出数据对的DCFS，我们提出了一种逐层的底层-上层方案。具体地说，通过将第一层模糊系统视为输出的弱估计器，仅基于一小部分输入变量，我们使用WM方法设计了这些模糊系统。在设计了第一层模糊系统之后，我们将数据通过第一层来形成一个新的数据集，并以与设计第一层模糊系统相同的方式基于该新数据集来设计第二层模糊系统。逐层重复这个过程，我们设计整个DCF。我们还提出了一种具有参数共享的DCFS，以节省内存和计算量。我们应用DCFSmodels预测了一个合成的混沌加随机时间序列和香港股市的实际恒生指数。指数项层次模糊系统；深度学习；WM方法；股票指数预测。一、 简介深层卷积神经网络（DCNN）[1,2]在解决复杂实际问题方面取得的巨大成功[3,4]揭示了一个基本事实，即多层结构是表示复杂关系的非常强大的模型。

DCNN的主要问题是训练DCNN的参数项所需的巨大计算量，以及对这些庞大的模型参数缺乏可解释性[5]。本文的目标是开发深度卷积模糊系统（DCFS）和DCFS的快速训练算法，以探索基于规则的多级表示的能力，并克服DCNN的计算和解释困难。分层模糊系统由Raju、Zhou和Kisner于1991年提出，大致与LeCun于1990年引入深度卷积神经网络的时间相同。20世纪90年代末，文献[7]证明了层次模糊系统的基本性质，如泛逼近，并在文献[8]中开发了一种基于输入输出数据的反向传播算法来训练层次模糊系统。2018年11月30日，提交了一批关于层次模糊系统的研究手稿；2019年5月3日和6月11日修订；2019年7月12日接受。王立新（Li Xin Wang）就职于中国北京中科院大学（电子邮件：lxwang@ucas.edu.cn).在2000年代中期左右的模糊社区中进行，这一时期辛顿[2]于2006年提出了著名的深度神经网络新训练算法，这导致了当前的人工智能热潮。在此期间，我们深入研究了层次模糊系统的结构和逼近性质[9,10,11,12]，并提出了许多设计层次模糊系统的新方法[13,14,15,16]。

自那时以来，层次模糊模型已被广泛应用于各种实际问题，如环境监测[17]、教育评估[18]、视频交互[19]、价格谈判[20]、移动机器人自动化[21,22,23]、对等网络中的自命名[24]、语言层次[25]、酒店选址[26]，智能结构【27】、武器目标分配【28】、图像描述【29】、营养评估【30】、太空飞船控制【31】、光伏管理【32】、废水处理【33】等。。最近，对层次模糊系统的研究沿着多个方向发展，如快速实现[34]、自适应控制[35]、多目标优化[36]、可解释性[37]、分类[38,39]等。。最后一段总结的研究表明，层次模糊模型成功地解决了许多实际问题。然而，层次模糊模型的应用通常局限于小数据集的低维问题。此外，目前层次模糊系统的训练算法与深度神经网络的训练算法类型相同，当应用于大数据的高维问题时，深度神经网络的计算量很大。计算量大主要是由于训练算法的迭代性质（数据的多次传递），可能需要很长时间才能收敛。由于模糊系统的参数具有神经网络参数所不具有的清晰物理意义（与输入/输出变量和数据的清晰连接），我们可以利用这些物理意义来开发参数的快速训练算法。

[40,41]中提出的Wang-Mendel（WM）方法是一种快速的训练算法，它只使用一次训练数据来确定模糊系统参数。本文的基本思想是使用WM方法以自下而上、逐层的方式设计低维模糊系统，从而最终构造一个深卷积模糊系统，其中低维模糊系统的输入通过一个进化算子（一个移动窗口）进行选择。这些低维模糊系统可被视为深卷积模糊系统的弱快速训练算法，并应用于股票指数预测李新旺输出变量的估计量[42]。但是，与机器学习中的ClassicAllensemble方法（如bagging方法、random forest方法或boosting方法）不同，DCFS模型中的弱估计量（低维模糊系统）是以逐层方式构造的。具体来说，一级模糊系统可以被视为普通的最弱估计量，每个模糊系统只使用来自高维输入空间的极少量输入变量。在使用标准WM方法设计一级模糊系统后，它们是固定的，其输出形成二级模糊系统的输入空间。通过将训练数据传递给固定的一级模糊系统，生成一个新的数据集，并以与一级模糊系统相同的方式基于该新数据集设计二级模糊系统。这个过程一层接一层地继续，直到构建DCFS。为了测试DCFS模型和训练算法，我们将其应用于预测一个合成的混沌加随机时间序列和香港股市的实际恒生指数。

虽然人们普遍认为股票价格遵循随机游动[47,48]，因此不可预测，但许多研究表明股票价格不遵循随机游动[49,50]，并证明预测市场是可能的[51,52,53,54,55]。由于股票价格是由受贪婪和恐惧等人类心理影响的人类交易员的买卖操作决定的，因此有理由相信股票价格中存在一些可预测的因素。当然，及时赶上这些可预测的因素以盈利是一项非常具有挑战性的任务[53,54]。本文的组织结构如下。在第二节中，我们展示了DCF的结构细节。在第三节中，我们为DCFS开发了四种训练算法。在第四节中，我们将CFS模型和训练算法应用于预测一个chaoticplus随机时间序列和香港股市的实际恒生指数。最后，在第五节中得出了一些结论性意见，补充材料中提供了主训练算法的MATLAB代码。二、深卷积模糊系统的结构我们从定义一般的深卷积模糊系统开始。定义1：深卷积模糊系统（DCFS）的一般结构如图1所示，其中输入向量(,, …, ) DCFS通常具有很高的维数，并且输出是标量（多输出DCF可设计为多个单输出DCF）。l级（l=1,2，…，l-1）包括模糊系统（i=1,2…，)其输出表示为这是l+1级的输入。顶层L级只有一个模糊系统这结合了从L-1级输出以生成最终输出.

输入集, , …, 到模糊系统,,  …, （l=1,2，…，l-1）从上一级的输出中选择,, …, 通过长度为m的移动窗口，其中窗口大小m通常是一个小数字，如3、4或5。图1：深卷积模糊系统（DCFS）的一般结构。01x0nx01nx05x04x03x02xLevel 111FS111nFS11nFS15FS14FS13FS12FS11x11nx111nx15x14x13x12x11Lx11LLnx12Lx06x11i12i11in11in15I14I13ILevel 221FS221nFS22nFS24FS23FS22FS21x22nx221nx24x23x22x21i22i22in21in24I23ILevel l1lFS1llnFSLLNFS3LFS2LFS1LXLNX1LNX3lx2lx1il2lilln1illn3Il11lx11llnx111llnx14lx13lx12lx级别LLFSLX移动窗口可以采用多种移动方案。例如，它可以一次移动一个变量，从直到已覆盖，这将 其中，l=1,2，…，l-1（对于l=1级，我们有). 对于这个一次一个变量的移动方案，我们有对于l=1,2，…，l-1，带, 我们从中得到 如果我们不想使用太多的模糊系统在DCFS的构建中，提高每个模糊系统的效率,  我们可以一次移动窗口多个变量，以覆盖级别中的输入变量。在极端情况下，对于所有模糊系统，我们可以每次移动窗口m变量因此，L级DCFS可以覆盖输入变量。对于L=5级DCFS，每个模糊系统的m=5输入,  例如可以涵盖输入变量。

此外，对于不同的模糊系统，窗口大小m可能不同为DCFS模型引入更多灵活性。模糊系统（i=1,2…，,  l=1,2，…，l-1）是标准模糊系统，其构造如下。对于每个输入变量到模糊系统（请注意是的第一个输入变量也许不是bethe 输入变量到级别),  定义q模糊集,,,如图2所示，其中q个模糊集的中心等间距分布，端点和根据训练数据确定（详细信息将在下一节我们开发DCF的训练算法时给出）。模糊系统是其结构如下模糊IF then规则：成员资格发挥作用的地方’s如图2所示，参数是模糊集的中心并将在下一节中使用训练算法进行设计。对于图2中的隶属函数，我们可以看到,  …,,  所以模糊系统的分离器of（4）等于1：以及模糊系统将（4）的简化为    式中，i=1,2…，l=1,2，…，l-1。

顶层模糊系统与（7）的形式相同输入变量, …, .我们在引言中声称DCFS比DCNN具有更好的可解释性，现在我们将详细介绍如何根据模糊IF-THEN规则（5）和参数解释DCFS.  首先，请注意fuzzysystem of（7）由模糊IF-THEN规则（5），每个规则覆盖一个单元格在m维输入空间中.  图3示出了m＝2和 , 其中，二维输入空间被划分为 单元格与单元格( )  由模糊IF-THEN规则覆盖：和参数作为模糊集的中心. 对于给定的输入点，说出该点在图3（左）中，模糊系统的动作可以用模糊IF-THEN规则表示：,覆盖了整个电池. 也就是说，模糊系统采取局部行动，其中一条规则主要负责一个单元。因此，对于给定的点, 模糊系统的作用 （7）的可由单个参数表示以（5）的形式表示fuzzyIF THEN规则。因为每个模糊系统在图1的一般DCF中，可以用单个参数表示（正如我们在最后一段中所演示的那样），CFS在任何给定输入点上的整个动作都可以通过连接图来解释’s、 图3（右部分）显示了6级DCF的示例，其中n=7个输入到DCF，m=2个输入到每个模糊系统在DCFS中。对于给定输入在图中。

3，如果DCFS输出错误 （例如导致汽车应用中发生事故），然后从图3右侧的CFS图中，我们可以很容易地检查是什么原因导致输出不良，并对这些规则进行适当的更改，以便错误不会再次发生。在下一节开发训练算法后，我们将更详细地讨论DCFS的这种简单纠错特性。最后，我们介绍了一种特殊的DCF，它可以大大减少下一节将要开发的DCF的内存需求和训练算法的计算成本。我们从（7）中看到，每个模糊系统有自由参数设计并存储在计算机内存中。总的计算和存储需求与,  对于高维问题来说，这可能是一个很大的数字。为了减少计算和存储需求，我们引入了一种参数共享方案，其中同一级别的模糊系统是相同的（共享相同的参数）。具体来说：定义2：具有参数共享的DCFS是一个DCFS，其中模糊系统在同一级别中，l是相同的，即。，对于l=1,2，…，l，我们将l级中的相同模糊系统表示为.  具有参数共享的DCFS具有 自由参数设计和储存。我们现在进入下一节，开发一些快速训练算法来确定参数模糊系统（7）基于通用CFS和DCF的输入输出数据，具有参数共享。三、