[数据挖掘新闻] 超越常规-基于HTM的强大AI在预测和异常检测上击败了RNN和CNN [推广有奖]

超越常规-基于HTM的强大AI在预测和异常检测上击败了RNN和CNN
简介： 这是我们“超越常规”系列的第二篇，该系列探讨了机器学习领域的创新者，他们选择了主流之外的策略和方法。在本文中，我们将研究Numenta基于他们自己的大脑研究进行标量预测和异常检测的独特方法。
Numenta是由Palm Pilot闻名的Jeff Hawkins于2005年创立的机器智能公司，很可能是“偏离常规”的典型代表。Hawkins与其说是一家商业公司，不如说是一个研究实验室，它一直在追求一种强大的AI计算模型，该模型将立即对人脑进行直接建模，从而成为解决所有类型机器学习问题的通用解决方案。
在经历了以深度学习的CNN和RNN / LSTM为代表的“狭窄”或“弱” AI方法浪潮之后，他的赌注开始得到回报。现在有基准研究表明，在标量预测（商品，能源或股票价格等事物的未来价值）和异常情况下，Numenta强大的AI计算方法可以胜过基于CNN / RNN的深度学习（霍金斯将其称为``经典''人工智能）检测。
它与当前的深度学习有何不同
Numenta追求的“强大的AI”方法依赖于直接从大脑自己的体系结构中提取的计算模型。
相比之下，以深层神经网络为代表的“弱AI”则承认，它仅暗示了真实的大脑功能，但可以取得结果。
我们都知道CNN和RNN / LSTM已经在图像，视频，文本和语音分析方面取得了成功，这是它们的主要防御手段。他们工作。它们提供了良好的商业效果。但是我们也开始认识到它们的弱点：大型训练集，对噪声的敏感性，较长的训练时间，复杂的设置，无法适应变化的数据以及时间不变性，这些都开始向我们展示它们的发展局限性将导致我们什么。
Numenta的计算方法与这些方法有一些相似之处，并且做出了许多独特的贡献，这要求我们参与深度学习的人们考虑一个完全不同的计算范例。
分层时间记忆（HTM）
要将Numenta引入的方法公道对待，需要花费这么多篇文章。这里是重点。
HTM和时间：   Hawkins使用术语“临时时间记忆（HTM）”来描述他的整体方法。理解的第一个关键是HTM依赖于随时间流传输的数据。霍金斯说，根据以前的采访，
“大脑做两件事：做推理，即识别模式；做行为，即生成模式或产生运动行为。百分之九十九的推理都是基于时间的，即语言，试听，触摸。基于。您不能不动手就无法理解触摸。模式发生的顺序非常重要。”
因此，HTM的“记忆”要素是大脑如何不同地解释或关联每个顺序输入，也称为“顺序记忆”。
相比之下，常规深度学习使用静态数据，因此是时不变的。即使是基于时间的处理语音的RNN / LSTM，也实际上是在静态数据集上进行的。
稀疏分布表示（SDR）：  例如，从眼睛或触摸到大脑的每个瞬时输入都被理解为该传感器（眼睛，耳朵，手指）中所有可用神经元的一部分发射并向上发送信号至其他神经元进行处理。
由于并非所有可用神经元都为每个输入触发，因此向前发送的信号可以视为已触发（二进制表示中的1）与未触发（数百）中的数百的稀疏分布式表示（SDR）。以二进制表示）。从研究中我们知道，平均而言，只有2％的神经元在任何给定事件下激发“稀疏”一词的含义。
SDR适用于向量数组，并且由于其稀疏而具有有趣的特征，即它们可以被广泛压缩而不会失去意义，并且非常耐噪声和误报。
相比之下，深层神经网络会激发每一层中的所有神经元，或至少激发脉冲阈值的神经元。这是当前研究人员公认的缺点，它使DNN远远超出了当今的位置。
学习是连续且不受监督的： 与CNN和RNN一样，这是一个功能生成系统，可以从未标记的数据中学习。
当我们查看CNN和RNN的图表时，它们通常显示为神经元的多层（深层），随着信号的进行呈金字塔状减少。大概发现了这种自约束架构中的功能，直到最后的分类层。
相比之下，HTM体系结构只是一列列计算神经元，它们将信息传递到向上的层，在层中，通过将一个SDR（单个时间信号）与信号列中的另一个SDR（单个时间信号）进行比较，有机地进行模式发现和识别。
HTM的特征是它可以非常迅速地发现这些模式，而其数量仅为1
同样，模式识别不受监督，并且可以基于输入一旦发生变化就识别并概括出模式变化。这导致系统不仅训练非常迅速，而且具有自学习能力，自适应能力，并且不会因数据变化或噪声而感到困惑。
Numenta为想要动手实验的人提供了详尽的说明文件和YouTube视频库。
HTM Excel在哪里
多年来，HTM一直在进行中。最近发生了变化。Numenta已发表了几篇同行评审的性能论文，并在其实力领域建立了基准，突出了其在特定类型问题上优于传统DNN和其他ML方法的优势。
Numenta表示，总的来说，以开源项目NuPIC（Numenta智能计算平台）为代表的技术现状在三个方面表现出色：
流数据中的异常检测。例如：
突出显示移动物体的行为异常，例如使用地理空间数据逐辆卡车跟踪车队的运动。
了解人类在证券交易场所的行为是正常还是异常。
根据来自许多传感器的数据预测复杂机器中的故障。
标量预测，例如：
根据客户预测公用事业公司的能源使用情况。
根据纽约市交通管理局提供的公共数据流，提前2?小时预测纽约市的出租车乘客需求。
静态和流数据的高精度语义搜索（这些示例来自Corticol。Iu是使用SDR概念而非NuPICS的Numenta商业合作伙伴）。
自动从合同和其他法律文件中提取关键信息。
快速找到类似案例以有效解决支持请求。
从不同的数据源（例如电子邮件，社交媒体）中提取主题并确定客户的意图。
预防恐怖主义：监视所有涉及恐怖活动的社交媒体消息，即使它们不使用已知关键字也是如此。
信誉管理：无需提及数百个关键字，即可跟踪提及某个业务领域或产品类型的所有社交媒体帖子。
优于DNN的两个具体示例
出租车需求预测
在该项目中，目标是根据纽约市交通管理局提供的公共数据流，提前2?小时预测对纽约市出租车服务的需求。这是基于以30分钟为间隔的历史流数据，使用之前的1
机器故障预测（异常）
该测试的目的是在机器故障情况下，将两种最流行的异常检测例程（Twitter ADVec和Etsy Skyline）与HTM进行比较。在这种IoT应用程序中，重要的是分析必须检测出所有存在的异常，并尽可能在异常发生之前将其检测出来，不触发错误警报（误报），并使用实时数据。可以在此处找到该研究的完整说明。
结果表明，Numenta HTM明显优于其他方法。
更为重要的是，如下面的标题所述，Numenta HTM方法比其他技术早了整整3个小时才发现了潜在的故障。
您可以在Numenta网站上找到其他基准研究。
前进的道路
这里有几件事值得关注，因为正如我们之前提到的，Numenta HTM平台仍在开发中。
商业化
Numenta的商业模式目前要求它成为商业生态系统的中心，同时保留其主要研究重点。目前Numenta有两个商业许可的合作伙伴，Corticol.Io，专注于流文本和语义解释。第二个是Grok（Grokstream.com），它已将NuPIC核心平台改编为可在所有类型的IT操作场景中进行异常检测。如果您有兴趣尝试潜在的商业应用，则核心NuPICs平台是开源的。
图像和文字分类
当前功能列表中值得注意的是图像和文本分类。Numenta当前没有计划从静态数据开发图像分类，因为它不在流数据定义的关键路径上。值得注意的是，其他人已经证明了使用HTM作为不使用NuPICs平台的图像分类的一种高级技术。
近期创新
在我与Numenta市场副总裁Christy Maver的对话中，她表示，他们相信他们将在大约一年的时间内为新皮层的运作建立一个相当完整的框架。最后的推动力是在感觉运动集成领域，这将是将HTM架构应用于机器人技术的核心概念。
题库