谷歌Transformer论文合著者在东京创办人工智能公司Sakana AI

在生成式人工智能领域,人才流动正带来新的竞争格局。前谷歌研究员David Ha和Llion Jones,分别是Stability AI研究主管和“Transformer”架构共同发明者,上周四宣布他们已经创建了一家位于东京的新人工智能公司——Sakana AI

在谷歌2017年的研究论文《Attention Is All You Need》中,Jones是第五作者。这篇论文介绍了基于“Transformer”的深度学习架构,成为病毒性聊天机器人 ChatGPT 和当前竞相开发生成式人工智能产品的基础。谷歌Transformer论文合著者在东京创办人工智能公司Sakana AI

然而,Sakana AI并不打算在制造越来越大的“Transformer”上与大型科技公司竞争,而是将专注于为基础模型创建新的架构。David Ha表示,他们的方法可能不是构建一个吸取所有数据的巨大模型,而是使用大量更小的模型,每个模型都有自己独特的优势和较小的数据集,让这些模型相互通信并共同解决问题。

Sakana AI的名字源自日语中的“鱼”(さかな)一词,意思是“一群鱼聚集在一起,通过简单的规则形成一个连贯的实体”。这种概念类似于David Ha所说的蚂蚁自行形成桥梁的方式,这种适应是他们在自然算法中看到的非常强大的概念之一。

两位创始人表示,Sakana AI已经吸引了来自风投机构的数百万美元投资,其中包括运行AI聊天机器人初创企业Character.AI的Noam Shazeer和创立大型语言模型初创企业Cohere的Aidan Gomez。《Attention Is All You Need》论文的所有作者都已离开谷歌,开始了自己的创业之旅。

版权声明:AI导航网 发表于 2023-08-21 14:28:23。
转载请注明:谷歌Transformer论文合著者在东京创办人工智能公司Sakana AI | AI导航网

暂无评论

暂无评论...