国盛证券刘高畅在节目中表示，人工智能技术经过不同的积累和发展到了大模型阶段，大模型学习了很多人类互联网上的公开数据形成了自己的智能，是模型规模到了一定程度量变产生质变的结果。

　　以下为文字精华：

　　提问：直到2023年，人工智能中在我们看起来“比较基础”的人机对话功能才得以实现，背后的技术积累和突破到底在哪里？

　　刘高畅：2006年以后的AI发展，我们把它列为人工智能的第三次浪潮，它的标志是深度学习的成熟，以深度学习模型的成熟和可实现程度的完成作为标志，像Geoffrey Hinton这样的一些大牛在里面做出了很多贡献。

　　2006年到2017年是以深度神经网络为代表，包括CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络），一些深度神经网络的分支。

　　2017年，代表性的模型框架就是Transformer开始出现，它吸取了CNN体系，残差神经网络里残差块的体系，去解决梯度下降或者梯度爆炸的问题，在循环神经网络里，它吸取了Self Organizing Maps（SOM，自组织映射神经网络）。当时是Google的研究团队提出了Transformer大模型的逻辑，模型规模很大，有的可能是以编码器为主，有的是以解码器为主，Google坚持以编码器为主，这个路线在识别客户的问题或者识别客户的需求方面效果比较好，也有利于Google的搜索产品。

　　OpenAI非常有意思，它看重的是GPT路线，也就是生成式AI的路线。生成式AI，它的复合里面放的都是解码器，也就是说在训练之后会有一个特点，就是会有多种多样的表达，可以按照各种逻辑去表达。

　　因为OpenAI在早期的目标就是致力于AIGC，也就是通用人工智能的成型，他们认为GPT路线离实现通用人工智能的距离会更近一些，所以一直进行这种训练发展。从处理数据集到网络结构的设计，到训练的布置实施，包括训练过程中的修正与调教。

　　中间有个比较意思的点，就是它用大语言模型去写代码。这一点非常有意思，当时是GPT3初始模型之后开始去写代码，写完代码并做了对齐，对齐叫Instruct Lenition，初始的指导中只有少部分的道德指导，大部分做指令的指导，把代码和人类的语言进行一一对齐。简单说就是让机器去理解人类的语言，用代码的形式去实现一些逻辑上的操作，并且把结果反馈成人类的语言，可以理解为把机器相关的东西进行翻译。

　　这个操作完成之后不再叫“GPT3初始模型”，叫“GPT3达芬奇002模型”。我们当时去测，大概是在2021年底，他的表达表现还不是特别好，但是用特殊方式的引导词去提问他，你会发现他已经具备了非常强的逻辑能力，只是道德水准还有点问题，所以后面OpenAI做了一定的工作，叫做Instruct GPT指导。

　　指导分为几个内容，一方面进一步去调教指令，能够更好地理解人类的一些指令，一些通俗易懂的话怎么转化成机器的逻辑。

　　另外一种就是做道德上的调教，因为怕出现一些黄色暴力血腥的话，以及一些反人类反道德反社会的话。就像我们教小孩子一样，他可能有逻辑也很聪明，但是表达有问题，世界观价值观也有问题，我们要去调教他的三观。

　　经过Instruct指导性的调教之后，再进行一些微调，行业化和效果的一些调整，到了2012年12月份，发出来的GPT3.5之上的衍生产品，也就是ChatGPT。

　　GPT3以前用的是公开数据为主，用了很多的开源代码，也可能用了一些微软内部比较高阶的代码，这是一种猜想，但总体来说是以公开数据为主，但是未来往行业化的方向去发展，可能专业化的数据，能够支撑应用形成的数据会相对来说比较重要。

　　人工智能技术经过不同的积累和发展到了大模型阶段，大模型学习了很多人类互联网上的公开数据形成了自己的智能，是模型规模到了一定程度量变产生质变的结果。