LLM的实现原理(读llm一般是什么专业背景)

LLM 无需微调仅用提示词工程获得 tool calling 功能的实现原理主要包括以下两部分:

提示词注入阶段: INSTRUCTION 为最后注入到系统提示中的字符串,它包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。 TOOL_EAXMPLE 用于提示 LLM 如何理解工具以及如何使用工具,编写时应注意用无关紧要的工具作为示例,避免 LLM 混淆。 tools_instructions 是由通用的工具字典转换成 LLM 可读的工具列表,实际使用时可通过输入不同工具动态调整,让 LLM 得知可用工具及使用方法。 REUTRN_FORMAT 定义了调用 API 的格式。 工具结果回传阶段: 利用正则表达式抓取输出中的“tool”和“parameters”参数。 对于 interpreter 工具,使用另一种正则表达式提取 LLM 输出的代码,提高使用成功率。 通过识别 LLM 返回的调用工具的字典,提取对应的值,传入相应工具函数,最后将工具返回的结果以 observation 的角色返回给 LLM。对于不接受这些角色的 LLM 接口,可改为回传给 user 角色。

通过以上提示词工程,可以避免微调,让完全没有 tool calling 能力的 LLM 获得稳定的 tool calling 能力。

0
分享到:
没有账号? 忘记密码?