威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员最近开源了一个名为LLaVA-1.5的全新端到端多模态大模型，该模型与OpenAI的GPT-4V形成了正面竞争。LLaVA-1.5在11项基准测试中均取得了新的状态最优（SOTA）成绩，包括视觉问答、图像注释等任务，展现出了强大的多模态理解能力。

相对于之前的版本LLaVA，LLaVA-1.5采用了更高分辨率的图像输入、更大规模的语言模型（13B参数），以及面向学术任务的视觉问答数据集，从而实现了显著的性能提升。研究人员发现，与额外的大规模预训练相比，视觉指令微调对于提高多模态能力更加关键。

值得一提的是，LLaVA-1.5采用了简单的架构设计，只需在公开可获得的600万图像文本配对上训练一个全连接层，就能在多个基准测试中超越复杂的SOTA系统、刷新记录。使用8块A100GPU，LLaVA-1.5的训练仅需1天时间即可完成。LLaVA-1.5展示了开源大模型可以通过简单设计和公共数据获得竞争力，并为未来的研究提供了有价值的经验。凭借其出色的多模态理解能力，LLaVA-1.5引领着一股“硬刚GPT-4”的新风潮在业内掀起。