马毅团队最新研究结果显示微调多模态大模型（MLLM）存在灾难性遗忘问题。他们提出了一种被称为EMT框架的方法来评估微调后的MLLM在多任务上的性能。实验结果表明，尽管微调可以显著提高MLLM在微调数据集上的性能，但同时也导致了其他任务上的性能下降。

在微调过程中，MLLM会生成与微调数据集相关的幻觉文本，从而忽略了原始问题。研究人员通过输入图像并要求MLLM进行分类，并使用另一个语言模型评估其分类正确性来评估MLLM的性能。结果显示，大多数被测试的MLLM无法保持与视觉编码器相近的分类性能。

此外，研究团队还针对LLaVA进行了微调实验，并证实适度的微调是有益的，但过度微调会导致非微调任务的遗忘。研究还发现，经过微调的MLLM会产生与微调数据集相关的幻觉文本而不是原始问题。

这项研究首次系统评估了MLLM存在的灾难性遗忘问题，并为进一步的工作提供了框架和基准。研究结果提示我们需要在追求单任务性能的同时，也要注意保持模型的泛化能力，以防止过拟合。因此，在模型设计和训练技巧方面仍需要进一步优化，以平衡不同能力之间的权衡。

以下是相关论文的链接：
[论文地址](https://arxiv.org/pdf/2309.10313.pdf)

|要点|介绍|
|---|---|
|问题|微调多模态大模型可能导致严重遗忘问题|
|研究团队|马毅团队|
|研究方法|使用EMT框架评估微调后的MLLM性能|
|实验结果|微调提高了微调数据集上的性能，但导致其他任务上性能下降|
|MLLM特点|产生与微调数据集相关的幻觉文本，忽略原始问题|
|结论|首次系统评估MLLM的灾难性遗忘问题，并给出了框架和基