beam search(beamsearch topk选哪个)

Beam search(集束搜索)是一种在生成式 AI 中的搜索策略,常用于编码器-解码器架构。解码器在每一步生成词汇表中每个标记是下一个标记的概率,使用这些概率来评估句子块而非单个单词的概率,并在每一步保留最有可能生成的块。

在一些实验中,如 PromptAgent 论文精读翻译中的基线实现细节,Beam search 与 PromptAgent 使用相同的扩展功能。除根节点外每个节点扩展为 3 个新节点,集束宽度为 3,意味着搜索树的每个深度都有 9 个节点,而最好的 3 个节点会被保留用于下一次扩展,根节点扩展为 9 个新节点,搜索深度为 8,总共有 72 个节点或新提示。

在常用采样策略中,Beam search 是确定性采样的一种。它维护 beam 的大小为 k,对当前 beam 中的所有路径做下个 token 的展开,选取累积概率最高的前 k 个路径作为新的 beam,以此类推。计算量增大,但输出有一定确定性同时更加丰富。当 k=1 时退化成 Greedy Search(贪心搜索)。

0
分享到:
没有账号? 忘记密码?