利用 LEVER 技术提升大型模型将自然语言描述转化为可执行代码的能力已经成为最新的研究焦点。LEVER 通过学习验证生成的程序与执行结果来改善自然语言到代码的转换。其训练过程中使用了自然语言描述、程序表面形式和执行结果的组合表示，以便识别和排除错误的程序。

该项研究对四个代表不同领域的数据集进行了实验，包括表格 QA、数学 QA 和基础 Python 编程，以评估 LEVER 的效果。实验结果显示，使用 code-davinci-002 模型进行训练后，LEVER 在性能方面取得了显著提升，提高范围为4.6%到10.9%，并且始终优于基本代码 LLM。在所有数据集上，LEVER 都达到了全新的最先进水平，证明了其在根据自然语言描述生成精确且上下文相关的代码方面的卓越性能。

LEVER 技术的应用前景广阔，有潜力改善一系列人工智能应用，包括数据库接口、机器人控制和虚拟助手等。通过提升代码 LLMs 将自然语言描述转化为可执行代码的能力，LEVER 可以为这些应用提供更精确、更高效的代码转换功能。详细论文可在以下地址阅读：[论文地址](https://arxiv.org/abs/2302.08468)