股票预测，自动翻译，你想要的它都能做——RNN算法探索之旅(1)-经管之家官网！

扫码加入金融交流群

原文地址：http://www.aiportal.net/rnn-lstm/rnn%E7%B3%BB%E5%88%97%E6%95%99%E7%A8%8B-1-%E5%89%8D%E9%A6%88%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C-ffnn

近几年，华尔街裁员不断，高盛在2000年顶峰时期，雇佣了600名交易员，为其机构客户进行股票买卖。但时至今日，却仅剩下2名交易员“看守”柜台。

不仅高盛，瑞银、摩根士丹利等金融公司，目前都已采用机器学习算法替代普通交易员，来进行交易。

那，什么样的算法如此厉害？

它能够预测股价走势，

不仅如此，

它还能搭建聊天机器人、可以翻译外文、可以写新闻稿、写小说 ……

这个看起来无所不能的算法，就是：循环神经网络，简称RNN。

本系列教程将以RNN为主线，总共分为3个部分：

• RNN算法之预备知识：前馈神经网络（FFNN）

  初识RNN算法

  RNN算法之变体：长短期记忆（LSTM）

  
  

今天是系列教程的第1部分：

RNN算法之预备知识：前馈神经网络（FFNN）

在讲RNN之前，首先引入前馈神经网络的部分内容，是因为了解了FFNN，再学习RNN会更加容易，遇到的阻力更小。

如果你已经对前馈神经网络很熟悉，直接跳过此部分内容。

好啦，话不多说，下面开始我们今天的内容。

先来看这样一组数据：

http://www.aiportal.net/wp-content/uploads/2018/01/12-%E6%B0%B4%E5%8D%B0.pnghttp://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==

这只是我们随机编写的一些数字，它很简单，不使用任何模型算法，你也能轻而易举地找到x-y之间的规律：

http://www.aiportal.net/wp-content/uploads/2018/01/13-%E6%B0%B4%E5%8D%B0.pnghttp://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==

但是如果，

我们一定要用神经网络来计算的话，

那么，这个神经网络可以简单地搭建为：

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/14-%E6%B0%B4%E5%8D%B0.png

先别晕，我们举个例子，你就明白上面的逻辑了。

以第1条数据为例：

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/15-%E6%B0%B4%E5%8D%B0.png

• 输入层，让模型读入第1条数据“4”
• 输出层，告诉模型其结果为“36”
• 隐藏层，就像连接“输入”和“输出”之间的桥梁
  

这个模型的核心：就是努力找到x与y之间的联系。

比如，

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/16-%E6%B0%B4%E5%8D%B0.png

图中的 “1” 和 “9”，就是模型找到的其中一种连接方法。

更一般的，

如果你拥有数据（X,Y），神经网络算法就会去寻找最佳的参数W：

http://www.aiportal.net/wp-content/uploads/2018/01/17-%E6%B0%B4%E5%8D%B0.png

求解W，就是这条神经网络会替我们努力完成的工作。

上面的图，写成公式为：

http://www.aiportal.net/wp-content/uploads/2018/01/19-%E6%B0%B4%E5%8D%B0.png

（注：两个公式中的w，数值可能不相同）

这就是一条最简单的神经网络。

当然，更多的时候，你在教材上看到的是这样的：

http://www.aiportal.net/wp-content/uploads/2018/01/110-%E6%B0%B4%E5%8D%B0.png

如果我们将参数b暂时遮挡住：

http://www.aiportal.net/wp-content/uploads/2018/01/111.png

“公式二”与“公式一”之间，仅仅多出一个f()函数。

这个f()函数，在学术上被称为“激活函数”，通常是一个非线性的函数。

例如，

http://www.aiportal.net/wp-content/uploads/2018/01/112-%E6%B0%B4%E5%8D%B0.png

像上面这些，均可以作为激活函数来使用。

你会问：

“为什么我们要使用激活函数？”

这是因为，

(w*X) 和 (w*h) 仅仅是线性运算：

http://www.aiportal.net/wp-content/uploads/2018/01/113-%E6%B0%B4%E5%8D%B0.png

而我们在现实中遇到的问题，更多都是非线性的。

这就好比，

家到学校，理论上是两点一线的距离；

但现实中，你要曲曲弯弯走很多路，才能抵达终点：

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/%E5%9C%B0%E5%9B%BE2.gif

因而，在w*X的外面，包裹上一层激活函数

f(w*X)

可以将线性问题转化为非线性问题，这样更接近真实的世界，也能使我们模型预测的准确度，得到大幅提升。

好了，前面我们一直讨论的是一条数据的情形，即

http://www.aiportal.net/wp-content/uploads/2018/01/114.png

现在，如果我们把t+1条数据，全部考虑进来：

http://www.aiportal.net/wp-content/uploads/2018/01/115-%E6%B0%B4%E5%8D%B0.png

那么此时，

神经网络的形态变为：

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/116-%E6%B0%B4%E5%8D%B0.png

由图可以看出，

它是t+1条数据的“堆叠”。

你会发现，像这样的神经网络，它只有横向箭头http://www.aiportal.net/wp-content/uploads/2018/01/117.png http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==

并没有纵向箭头

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/118.png

即“第t条数据，并不受之前数据的影响”。

你可以视它为一条“一直向前，永不回望”的神经网络，

也因此而得名“前馈神经网络”。

我们单拎出第t条数据：

http://www.aiportal.net/wp-content/uploads/2018/01/119.png

此时，ht仅受Xt的影响。

在实际工作中，它适用于“上一条数据与下一条数据，彼此之间没有任何关联”的情形。

举几个例子：

图像分类

http://www.aiportal.net/wp-content/uploads/2018/01/120.png

第1张图与第2张图之间，并无关联。

薪水等的预测

http://www.aiportal.net/wp-content/uploads/2018/01/121-%E6%B0%B4%E5%8D%B0.png

第1条职位所提供的薪水，并不决定第2条职位薪水的高低。

电影推荐

http://www.aiportal.net/wp-content/uploads/2018/01/122-%E6%B0%B4%E5%8D%B0.png

第1部电影的好坏，并不影响第2部电影是否受观众的欢迎。

上面这些例子，都可以借助前馈神经网络来解决。但有些例子则不然。

下一期，我们进一步来了解“会回望的”神经网络——循环神经网络（RNN）。

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP