由 dawei 自然语言理解（NLU）是很难的问题， 从几十年前AI诞生到现在， 语言理解一直都是AI一座无法攻克的冰山。一方面， 语言是对我们所感知到的客观世界的符号化， 就如同画在原始人洞穴里那些似是而非的象形文字， 连接着每一个真实世界经常出现的事物。 另一方面， 语言是人类思维的载体， 它就像是自然产生的计算机程序，描述逻辑，因果， 事物运行的方式 。
人类引以为傲的认知能力， 都是以语言为载体进行的。 这种能力包含与感知能力相对的对世界进行概念化，结构化， 预测推理等不同能力的总和， 通常以符号相互连接的某种图结构表达。从这里看自然语言的理解， 其实就是要学习到单词背后所指代的真实世界的概念，以及符号和符号之间所隐藏的人类认知的思维过程。
那么相应的要构建一个完全理解自然语言的模型， 显然做到两件事， 1， 它需要知道每个单词背后概念的感知概念 （把“猫”的符号与背后的视觉概念做对齐， 类似多模态感知）， 2 它需要真正掌握自然语言背后所蕴含的人类认知能力。 我们就先来关注一下后者。
假定一个完全没有见过客观世界的人， 在纯粹文本的空间里翱翔，它是否可以学习到语言背后的所有人类认知呢？我们可以想象这样一个具有无限记忆力， 可以在网络空间任意窥视的爬虫， 它可以不停的反复窥视和推敲文字的前后衔接， 来理解人是怎么思考这个世界的。它可能最终可以完美的猜测你说了一句话， 下一句你想说什么 ， 这就是当下自然语言生成模型（如GPT）在做的事情了， 它是否具备了人类的认知能力呢？逻辑是人类认知最具有标志性的思维方式， 那么我们就先把认知等同于逻辑， 思考这样的自然语言模型是否掌握逻辑认知。
我们可以根据知乎 甄景贤 的文章BERT 的逻辑化， 我对这个问题进行了梳理。 一个能够在人类文本里肆意窥视并预测的爬虫， 到底掌握了什么样的能力呢？
这只生活在自然语言空间的爬虫， 表面上在根据上下文回答问题， 但是其实质， 是对文章背后所反应的事实进行解释和重构的过程。这点上， 语言作为一个符号和符号组成的结构， 本质上与一个概念图对应， 而概念图又对应真实世界的物理过程和社会事件。
如果把单词看作是语言的单元， 那么单词无非是被命名的概念（但不是一一映射的，某个单词可以是多义的），而句子则是若干概念组成的事件图。通常情况下句子都符合一定的语法， 语法的本质就是通常情况下概念和概念连接的方式。比如主谓宾形式对应一个三元组（某个主体产生一个动作于一个客体上, 例如小明吃苹果），也就是两个节点被一个边相连的情况。 一个自然段落就是多个三元组一个个相继出现的过程， 这些三元组描述的事件构成一个真实发生的过程，这些事件不是简单的堆叠， 而是被上帝的针线精密的连接起来， 它就是逻辑。
逻辑的本质是结构化的思维过程。逻辑的古希腊语原型logos就是言语 。逻辑和因果关系紧密， 甚至有人认为二者几乎一致， 我认为两者的区别在于因果更关注真实性，是一种真实世界里的逻辑， 而逻辑在思维和符号的世界里， 只要具备自洽的结构， 不至于产生悖论，就可以成立，因此范围更大。逻辑能够匹配真实世界， 一定是因为它的结构构成符合某种自然造物的规律(想象一些世界就是一个由各种基本作用力构成的巨大网络)。