用 LLM judge 评测技能
renjianguojinqianfan/dsh-skill-eval · 技能
DSH 插件:用 LLM judge 评测技能 description 的触发准确率(欠触发/过触发)
★ 2GitHub 星标
0分支
2026-08-25最近更新
JavaScript开发语言
MIT许可证
主要功能
- 枚举会话中模型可调用的技能(ctx.skills.snapshot)。
- index.js — 插件入口注册 runskilleval 工具与 /skill-eval 命令。
- 逐字复现官方 catalog 消息( + + 归一化/截断/转义的描述)。
- 对每条查询让 judge 模型判断目标技能是否应触发,强制一行 YES/NO 回答。
- 评测衡量的是 judge 模型视角下该技能描述的路由准确率。
安装命令
dsh plugin --profile web add github:renjianguojinqianfan/dsh-skill-eval