DeepMind推出新技术OPRO，优化ChatGPT提示性能

在最近的一项AI研究中，Google DeepMind发布了名为“OPRO”的技术，该技术旨在优化大型语言模型（LLM）的提示性能。通过将LLM作为自身的优化器，OPRO使用自然语言描述问题来指导LLM生成和改进解决方案，从而提高提示性能。

OPRO的工作方式相对简单，它使用LLM作为优化器，但与传统的数学公式优化方法不同，OPRO采用自然语言描述来指导LLM的优化过程。这种自然语言描述可以包括任务的自然语言描述以及一些问题和解决方案的示例。在优化过程中，LLM会根据问题描述和元提示中的先前解决方案生成候选解决方案。然后，OPRO会评估这些候选解决方案的结果，并将它们与其质量得分一起添加到元提示中。这个过程会重复进行，直到模型不再提出具有改进得分的新解决方案。

LLM作为优化器的一个关键优势是它们能够处理自然语言指令，这使得用户能够更直观地描述优化任务而无需遵循严格的形式规范。例如，用户可以指定“准确性”等度量标准，同时还可以给出其他指令，如要求模型提供简洁且普遍适用的解决方案。

OPRO还充分利用了LLM的上下文模式识别能力。通过在元提示中包含示例来识别优化轨迹，这是OPRO的核心魔力之一。因为LLM将语言视为数字令牌，所以它们可以发现人类无法察觉的模式。

DeepMind已经在著名的数学优化问题如线性回归和“旅行推销员问题”等两个案例上测试了OPRO，并展示了它在这些情况下的有望结果。然而，OPRO的真正潜力在于优化LLM的使用，例如ChatGPT和PaLM等模型。

通过使用OPRO技术，我们可以更有效地利用LLM来优化提示性能。这不仅可以帮助我们提高生成式AI系统的性能，还可以在各种任务中实现更高效和准确的解决方案。虽然DeepMind尚未发布OPRO的代码，但该技术的概念直观且简单，可以在几小时内创建一个自定义实现。对于那些对AI和优化感兴趣的人来说，这是一个值得关注的新技术。