AI发展科研机构Epochai在官网发布了大模型消耗训练数据的研究报告

Epochai研究机构近日在其官方网站上公布了一项重要研究，深入探讨了大型AI模型对训练数据的消耗趋势。报告指出，尽管当前人类公开的高质量文本训练数据集总量约为300万亿tokens，但随着ChatGPT等巨型模型参数不断增多、功能日益强大，以及过度训练现象的普遍存在，预计这些数据将在2026年至2032年间被消耗殆尽。

报告特别强调，“过度训练”现象是导致训练数据迅速消耗的主要元凶之一。以Meta最新开源的Llama3模型为例，其8B版本过度训练高达惊人的100倍，若其他模型纷纷效仿此种训练方法，那么训练数据可能在2025年便会耗尽。相较之下，Llama3的70B版本过度训练程度相对较低，仅为10倍。

目前，无论是闭源还是开源的大模型，都已步入比拼训练数据的时代。模型学习数据的数量与维度成为决定模型性能的关键因素。即便是在小参数模型上，只要学习的数据足够多、维度足够广，便有可能超越大参数模型，特别是在RAG、MoE、MTL等技术的加持下，这种优势更为明显。

关于“过度训练”，报告给出了详细解释。在深度学习领域，特别是在大模型训练中，开发者有时会故意让模型使用的训练数据量超过计算最优模型所需的量。这种做法与传统机器学习中避免过拟合的目标相悖，但在大模型训练中，它被视为一种优化策略，有助于节省推理成本和提高效率。然而，过度训练也意味着模型开始学习训练数据中的噪声和细节，而非潜在的数据分布，这在某种程度上增加了数据消耗。

此外，大模型过度训练时，参数量与训练数据量的比例往往超过Chinchilla缩放定律建议的最佳比例（D/N比约为20）。保持这一比例有助于在固定训练计算预算下实现最低的可减少损失。然而，开发者可能会选择让这一比例高于最优值，以更多地利用数据训练模型，虽然这会增加训练阶段的数据需求，但能够降低推理阶段的算力成本。

面对训练数据迅速消耗的挑战，Epochai提出了四种可能的解决方案：

合成数据：利用深度学习技术模拟真实数据，生成全新数据。这种方法具有潜在的无限扩展性，但可能面临数据质量不佳和过拟合的问题。
多模态和跨领域数据学习：结合不同数据类型（如文本、图像、视频、音频等）以及跨领域数据（如金融市场数据、科学数据库、基因数据库等），以更全面地理解和处理任务。这种方法能够充分利用丰富的数据资源，但可能面临数据整合和处理的挑战。
私有数据：全球文本数据中，私有数据总量约为公开数据的9倍。利用私有数据进行模型训练具有巨大潜力，但隐私和安全性问题不容忽视。
合作与共享：鼓励不同机构和组织之间共享数据资源，以减轻数据压力。这有助于充分利用数据现有资源，但需要建立有效的数据共享机制和标准。

通过上述解决方案，Epochai希望为AI领域的可持续发展提供有益的思考和参考。随着技术的不断进步和应用场景的拓展，AI模型对训练数据的需求将持续增长。因此，如何高效、合理地利用和管理数据资源，将成为未来AI领域发展的重要课题。