8月23日凌晨,OpenAI在官网上宣布推出GPT-3.5 Turbo微调功能并更新API,让企业、开发人员能够使用自己的数据,结合业务用例构建专属的大语言模型。微调功能是目前企业应用大语言模型的主要方法,例如,法律领域的Spellbook、律商联讯、Litera、Casetext等,它们通过自己积累的海量法律数据在GPT-4模型上进行微调、预训练构建法律领域的专属大语言模型,使其回答的内容更加聚焦、安全、准确。
自GPT-3.5 Turbo发布以来,开发人员和企业希望能够开发自定义大模型,为用户创造独特、差异化的产品体验。现在,OpenAI终于开放了此功能,使得人人都能打造独一无二的专属大语言模型。
微调的基本思想是,先在大规模文本数据上预训练一个大型的语言模型,例如,GPT-3.5,然后,使用特定任务的数据集(如法律、医疗),进一步对模型进行训练,以适应特定的任务。在这个过程中,模型的参数会进行微小的调整,使其在特定业务场景上的性能更好。
根据OpenAI的官方微调说明文档,列出了以下常见用例:
1. 设置风格、基调、格式等;
2. 提高输出的可靠性;
3. 纠正未能遵循复杂提示的问题;
4. 以特定方式处理多个边缘内容;
5. 改进可操纵性;
6. 执行难以在提示中阐明的新技能或任务。
除了提高性能之外,微调功能还允许企业缩短提示时间同时保证性能。微调功能还可以处理4 K tokens,是OpenAI之前微调模型的两倍。
暂无评论...