快科技9月3日消息,DeepMind联合创始人Suleyman最近在采访中透露,GPT-5模型目前正在秘密训练阶段,预计将比当前的GPT-4模型大100倍。
然而,Open AI的CEO Sam Altman此前否认了GPT-5模型的训练计划。有消息人士表示,可能是因为OpenAI为该模型起了一个新的名称,所以他们才否认了训练GPT-5的说法。
Suleyman目前担任Inflection AI的CEO,Inflection AI正在建造世界上最大的超级计算机之一。他表示,在接下来的18个月内,他们可能会进行一次比GPT-4模型更大10倍或者100倍规模的语言模型训练运行。
GPT-4模型于今年3月正式发布。相比于之前的GPT-3.5模型,GPT-4实现了几个重大改进:图像识别能力更强大,文字输入限制提高到2.5万字,回答准确性显著提高,并且能够生成歌词和创意文本,实现多种风格变化。
GPT-3.5模型共含有1750亿个参数,关于GPT-4模型的具体规格,DeepMind并未公布。但分析显示,GPT-4模型应该包含了16个专家模型,每个MLP专家模型大约拥有1110亿个参数,总计达到1.8万亿个参数,是GPT-4模型规模的10倍。
根据以上比例推测,GPT-5模型可能将突破10万亿个参数,成为迄今为止规模最大的AI大型模型,超越所有竞争对手。
暂无评论...