GPT-3 掀起AI 大模型浪潮，大模型下参数量即是准确度。大模型成为AI 开发新范式。根据MIT Technology Review 和IEEE Computer，2020 年，Open AI推出其新的预训练模型GPT-3，GPT-3 相比其上一代模型在数据量上实现了量级的飞跃。模型的参数量由15 亿个提升至1750 亿个，训练使用的数据量由40GB提升至45TB.在算法几乎没有变化的情况下，GPT-3 仅依靠参数量的提升就实现了表现上的飞跃：GPT-3 可以在高精确度地自动生成文章、与人交流、甚至完成代码编写，至今仍是最好的AI 语言模型之一。在GPT-3 大获成功的推动下，AI 开发商们开启了大模型的竞赛。目前，Google 的Switch-Transformer 和GLaM分别有1 万亿和1.2 万亿个参数。在我国，北京智源人工智能院推出的悟道2.0则有1.75 万亿的参数规模。对于AI 模型而言，参数量决定了模型所接受的训练量。模型拥有越多的参数，就能从训练数据中摘取更多的相关信息，也因此能够做出更准确的预测。

　　大模型对算法与硬件提出更高要求，进一步提升技术门槛。相比于传统AI 模型，大模型对相关算法和硬件设施有着更高的要求。想要处理千亿量级以上的参数，大模型需要上百个独立的GPU 来训练模型的神经网络，同时需要算法来将所有的训练数据在各GPU 之间进行合理分配，确保这些数据以合适的顺序、在合适的时间被使用。在开发AI 大模型时，各AI 厂商都在对相应的算法和硬件设施进行升级，确保超大体量的参数能被模型所吸纳。根据量子位百家号，Google 则开发出了LIMoE 稀疏化大模型，在实现零样本学习的同时极大程度降低了训练成本。为确保大模型的顺利开发，各厂商也在不断提升相关硬件设施。我们认为，在未来AI 大模型的开发中，支持开发的算法、硬件设施等方面的综合实力将成为重要的技术门槛，将决定AI 大模型规模的上限和实际的模型效果，并成为AI 厂商模型开发成功与否的关键因素。

　　大模型作为基石，赋力AI 模型的优化及多场景运用。在大模型的早期阶段，受模型类型限制，模型的使用场景有限。如今，越来越多的AI 厂商开始转向多模态大模型(large-scale multimodal model)，这些模型能够同时处理图像、文本、视频、音频等数据类型，并支持无监督式学习。在大模型的支持下，AI 多模态模型能够在更多、更复杂的场景提供支持。根据百度文心官网和IDC 官微，百度的文心·跨模态大模型将场景图知识融入到视觉-语言模型的预训练过程；阿里达摩院的M6 大模型既在阿里内部核心业务场景落地，在外部医疗、能源、金融行业积累了多个实践案例。对于各行业而言，大模型的应用价值也开始逐渐清晰：大模型不要求企业具备海量的数据基础、相比传统AI 模型应用的效果更优、并能降低AI 开发门槛。我们认为，随着以大模型为基础的多模态模型的持续优化，未来AI 模型将能在更多场景、更复杂的功能中体现自己的优势，大模型的运用范围将会持续提升，并将正向反馈进一步推动大模型的相关研发。我们认为，GPT-3 的成功证明了参数体量对AI 模型的重要性，自此开启了大模型时代。想要确保AI 模型规模的不断提升，各厂商必须持续优化算法模块及相关硬件设备；而在大模型的支持下，AI 模型将不断优化并最终实现在更广泛、更复杂的场景的落地。

　　风险提示：行业相关政策推进不及预期，前沿技术发展不及预期或应用效果不佳的风险。

（文章来源：海通证券）