DeepSeek Harness 的 LLM 作为验证者
TaurenMountain/dsh-llm-as-a-verifier · 技能
DeepSeek Harness 的 LLM 作为验证者:细粒度奖励、概率枢轴锦标赛 N 中最佳选择以及作为代理工具的每步进度跟踪。
★ 6GitHub 星标
0分支
2026-09-01最近更新
TypeScript开发语言
NOASSERTION许可证
主要功能
- 为什么比「LLM-as-a-Judge」更细?
- 上游框架的核心思想是① 用细粒度评分(20 级字母尺度)
- ② 对评分 token 的完整 logprob 分布取期望(而不是只取 argmax)
- ③ 用重复评估 + 标准分解缩放可靠性。
- 本插件基于其开源实现适配了打分提取、成对提示词、锦标赛与进度追踪,并接入 logprob 后端和 token 计量,封装为 DSH 的 Cordis 工具插件。
安装命令
dsh plugin --profile web add github:TaurenMountain/dsh-llm-as-a-verifier