(资料图)
今日(4月8日),由中国人工智能学会主办的“人工智能大模型技术高峰论坛”主论坛在杭州萧山启幕。论坛上,欧洲科学院外籍院士、俄罗斯自然科学院外籍院士焦李成发表演讲。
焦李成指出,ChatGPT的成功离不开Transformer模型和基于人类反馈的强化学习(RLHF)的方法,其过程包括以下四个关键技术点。具体来看,ChatGPT的关键技术1在于,Transformer的强大表征能力为GPT的成功起到关键作用;ChatGPT的关键技术2在于奖励模型,即可根据人类偏好校准生成奖励模型(RM),并对GPT模型的“回答”进行评分优化;ChatGPT的关键技术3在于强化学习的原理及基本思想;ChatGPT的关键技术4在于提示学习方法。
同时,焦李成强调,GPT很伟大,但GPT并不完美。尽管ChatGPT取得了不错的进展,但它仍处于发展初期,依然存在训练时间长、资源消耗高、准确性有待提高、容易存在误导性、生成结果的一致性、对话历史长度限制、多语言支持、风格和语气的控制、创新性有待提升等技术特点与局限。
(文章来源:每日经济新闻)