1.自然语言处理领域有很多难题,此前研究者费了好大劲去解决的问题,深度学习方法出现以后,一些问题被很好地解决了,或者虽然还没有彻底解决,但是提供一个很好的框架。这些问题主要包括:词语形态问题、句法结构问题、多语言问题、联合训练问题、领域迁移问题以及在线学习问题;
2.那自然语言处理中哪些问题是可以解决的,哪些是不可以解决的呢?这就涉及到它的边界问题。我认为深度学习有几个重要的边界:数据边界、语义边界、符号边界和因果边界。(这个让我想到吴军《谷歌方法论》中讲的工程思维,找到边界---理论值,在边界内研究不会做很多无用功);
3.自然语言处理的一个理想的改进方向就是做世界模型或语义模型;
4.自然语言处理依旧面临的几个问题,由四个边界造成的,并且不是由边界中的某一个造成,而是由多个边界的共同干扰所造成的;
5.深度学习之于自然语言处理,有其局限性。那么它所能起作用的边界在哪里呢?对此问题,我们应当深思。(探讨事物、思考我们要了解自己或者某个事物的局限性,例如现代计算机的局限性----边界就是图灵机,每个人的局限性就是自己眼界和自己思维的固有思考方式,所以有了芒格的跨学科思维方式、瑞.达里欧的独立思考、极度开放思维和与各自领域顶尖人士合作看代问题,并进行可信度加权,这些都是人们为突破自己局限性的途径。)