使用场景

在问答系统中，通过基于熵的采样技术，系统能够生成更多样化的答案。

在文本摘要任务中，该技术有助于生成更准确和全面的内容摘要。

在对话系统开发中，使用基于熵的采样技术能够使对话更加自然和流畅。

产品特色

动态阈值调整：根据熵和方差熵的实时计算结果动态调整采样策略。

熵计算：计算当前概率分布的熵，评估模型的不确定性。

方差熵计算：计算概率分布的方差熵，进一步细化模型的不确定性评估。

阈值判定：设定熵和方差熵的阈值，决定是否调整采样策略。

分支采样：在模型可能陷入局部最优时，通过分支采样注入熵，增加输出多样性。

回退重采样：当模型过度自信时，通过回退重采样避免单调重复。

注入'Wait'标记：在模型不确定性高时，注入'Wait'标记促使模型重新评估。

自适应束搜索：根据熵和方差熵动态调整束搜索的宽度。

使用教程

1. 计算当前模型输出的概率分布的熵和方差熵。

2. 设定熵和方差熵的阈值，用于判定模型的不确定性。

3. 如果熵低于低阈值且方差熵低于低阈值，执行常规的贪婪解码。

4. 如果熵低于高阈值且方差熵高于高阈值，执行分支采样以注入熵。

5. 如果熵高于高阈值且方差熵高于高阈值，执行回退重采样。

6. 如果熵高于低阈值且方差熵低于高阈值，注入'Wait'标记促使模型重新评估。

7. 根据当前的熵和方差熵动态调整束搜索的宽度，进行自适应束搜索。

8. 重复步骤1至7，直到模型输出结束标记或达到最大搜索长度。