发帖
雷达卡
统计智能
在今年全国科技创新大会上，华为老总任正非提出：“未来二、三十年人类社会将演变成一个智能社会，其深度和广度我们还想象不到”，而我们面临的一个具体问题是“随着逐步逼近香农定理、摩尔定律的极限，面对大流量、低时延的理论还未创造出来”。对于前一个提法，本人双手赞成；而后一个问题，希望商榷。
退休以前，本人在贝尔实验室工作，也算香农的隔代同事。记得美国总部进门大厅里，只供奉两尊雕像：一个是发明电话的祖师爷贝尔，再就是香农。其它十几位诺贝尔奖获得者，包括发明晶体管的三人，都只配在大厅侧面展览厅里挂张照片，可见香农地位之高。
想来，香农的贡献就在于他给抽象的信息赋与度量单位。人类文明是通过交换发展起来的。从以物易物到以钱易物，有分工的社会才得以形成；通过各种能量的转换，才有工业革命和原子时代。而交换是需要单位的。正是香农定义了熵，才使得信息转换成为可能，才有信息时代的诞生。香农的两个定理，一个给出了信息压缩的下限，也就是说，在转换一个信息的各种表现形式时，要不损失信息，我们最少需要多少存储单位；另一个则说在干扰存在的情况下，信息传递需要多大的冗余才不致失真。在以往和当前的通讯系统中，我们都可以逼近甚至达到香农定理所表达的极限，但不能超越这两个极限。这对于大流量、低时延的通讯系统也是适用的。本人看不出有创造出新理论来超越香农极限的可能。
香农极限是演绎的结果，其前提是香农从各种信息表示中归纳出来的熵的概念。就像若我们承认欧几里得五公理，三角形三内角之和就不可能超越180度一样，只要熵的概念是正确的，香农极限就不可突破。只有我们改变信息的度量，才可能创造新理论，就好比非欧几何。
实际上，科学界一直在寻找新的信息度量。早在1963年Kolmogorov就提出算法复杂性，五十多年来许多学者沿此方向做了大量工作。大家知道，熵是基于概率来定义的，而实际中随机现象的概率分布往往不知道。理论上Kolmogorov将其定义为抽象的测度，应用中我们要靠假设或大数定律，本人认为这才是熵的最大局限性。科老也想到这点，于是联系到当时仍是弱冠之年的计算机，用算法来度量信息。这一途径得到很多计算机科学家的认同，也有一些具体结果。其中较为统计界熟悉的就是Rissanan的最小表达长度(Minimum Description Length), 这一方法被用于选择模型变量。
然而，最大的挑战还在信息的加工处理方法。在信息时代的前期，我们发明了电子计算机，定义了信息的度量，实现了对信息的运算(如解方程)，展示(如多媒体)和传递(如互联网和无线通讯)。但这一切都是在人的指导下进行的，是演绎的结果。电子计算机以及手机都是建立在布尔代数基础上的，它们的核心，CPU，只能做二进制的加减乘除、移位和逻辑判断，所以它们完全是在一个人造的虚拟世界中按确定规则来演绎。无论是解方程，还是多媒体展示，或者计算机及手机的联网通讯，都靠人编写的程序来加工数据，得到结果。这些结果已经大大改善了人类的信息处理能力，但这种能力主要是靠人脑演绎的延展。
人类智能包括了归纳和演绎两个方面。演绎(Deductive Reasoning)在传统的亚里士多德逻辑中是“结论，可从叫做‘前提’的已知事实，‘必然地’得出的推理”。归纳则是通过大量的观察和实验而总结出规律来。回顾历史，科学首先起源于归纳：古人从土地丈量中归纳出五个公理，才从而演绎出成千上万个欧几里得几何学定理；门捷列夫归纳出元素周期表，才能推测出当时未知的元素；牛顿在前人工作的基础上归纳出运动三定律，才能用微积分演绎出海王星的存在。在科学研究中，演绎非易事，但归纳更是源头。从这个意义上讲，现在所谓的智能手机，只能称为智能演绎手机。
那么机器能否也有归纳功能呢？答案是肯定的。一个例子就是战胜了韩国围棋棋王的AlfaGo。它与以前战胜国际象棋棋王的深蓝不同，它不仅仅学习了以往棋手的棋局，还有自创的招式。这些招式是在它自己和自己对弈时通过Monte Carlo搜索树归纳出来的。很多人认为机器的这一胜利开辟了人工智能的新篇章。
实际上，搞计算机的人一直想让机器能‘思想’，提出了人工智能的概念。而图灵把目标定的较实际：希望机器能完成和人一样的工作，以至第三者辨别不出那个是人做的，那个是机器做的。既然是“人工智能”，很自然想到模仿人。由仿生学启发而提出神经元网络和遗传算法，吸引了一代人的努力。然而，在实现两个基本的人类智能，语音识别和文字识别，问题上，仿生学方法遇到了极大困难。进一步研究发现，无论是语音还是文字，理解它们的关键是其马氏链结构。随着隐马氏模型HMM在以上问题的成功，概率统计方法引起计算机科学家和工程师们的注意，统计机器学习也由此而诞生。
但是，目前机器学习的主流不是统计方法，而是从神经元网络和遗传算法进一步发展而来的“深度学习”。使用相同的数据进行比较，深度学习算法在应用到很多实际问题时远比统计方法有效。我个人认为，关键在于很多传统统计方法都是基于一定的前提假定，如正态分布；即使非正态，至少也有一个平稳分布。我们习惯于从前提出发，经演绎而得到算法，如极大似然估计。而深度学习的本质是从数据直接归纳，不是从假定出发。这使得它在处理语音识别和图像识别问题时远远胜出很多传统的统计方法。当然，机器学习和人工智能也还远未成功，只要大家看看手机的手写输入和语音输入的现状，就知道还有很长的路要走。
我想，仿生智能除了模拟人的神经元结构这一”硬件”外，还应学习神经元之间相互作用原理这一“软件”。我个人认为，这个软件还是基于条件概率，条件相关和条件独立这些统计概念。运用这些概念，就有了马氏链推理，即所谓联想功能。联想有归纳联想，如巴甫诺夫的条件反射理论；也有类比联想，如中医的阴阳五行就是通过天人合一的类比而得到的。而归纳联想就是基于统计。至于演绎，不仅仅有亚里士多德所说的确定性演绎，也有基于条件概率的或然性演绎，即“结论，可从叫做‘前提’的已知事实，以一定或然率得出的推理”。人工智能中的贝叶斯网络，也称为信念网络（Belief Network），就是将条件概率用图型来表示的模型。贝叶斯网络提供了一个及其广泛的平台，上文提到的隐马氏模型HMM也可包含其中。深度学习又将贝叶斯网络进一步发展为深度信念网络（Deep Belief Network, DBN）。通过它的多层结构，各种有监督学习和无监督学习算法的结合，前向传递和后向反馈等方法，一方面它可以实现数据特征的自动生成和选择提取这样的统计归纳，另一方面它又在数据归纳的基础上实现或然演绎，即统计推断。
总之，面对即将来临的其深度和广度我们还想象不到的智能社会，统计学肯定会起大作用。但是，比较计算机科学家和工程师们的方法，很多传统的统计方法落伍了。我们需要教会计算机如何从数据中归纳出规律来，而不是简单套用统计演绎。实际上，统计原本就有数据收集和表示的功能。而建立在概率统计分布基础上各式各样的Monte Carlo方法，可以使我们借助计算机大大地扩展我们收集和分析数据的能力。进一步，穷举归纳的方法在实践中往往是行不通的。针对海量和不断变化的数据，我们必须发展有效的归纳方法。逻辑学中贝叶斯归纳就是一种使用概率统计作为框架的方法。相对于统计中常使用的频率的概念，研究贝叶斯归纳的人提出了主观概率的概念，这一研究方向有可能开辟用概率统计方法研究人的意见、判断、信念等涉及情绪心理思想方面活动的新思路。而人工智能，正是要教会计算机面对实际问题是如何形成正确的意见和判断。将主观概率与贝叶斯网络相结合，有可能使我们进入人工智能仿生学的更高阶段。
希望后人因了统计学家们的工作，把它命名为统计智能。
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
