每经记者:赵李南 每经编辑:梁枭
近日,《每日经济新闻》记者专访了厦门大学教授苏劲松。苏劲松向记者介绍,ChatGPT本质上是一个语言模型,它可以根据给定的上下文来预测当前出现词语的分布概率。
粗略来看,ChatGPT的发展经历了多个阶段:第一阶段是统计语言模型,即用传统的统计方法来建立语言模型;第二阶段是神经网络语言模型,即使用神经网络来建立语言模型,先后出现了许多经典模型,包括前馈神经网络语言模型、循环神经网络语言模型等等。随着2017年Transformer模型的出现,研究者们也开始使用Transformer模型来构建预训练语言模型,也就是ChatGPT的前身GPT。
每日经济新闻