dsh pluginsEnglish
← 返回热门插件目录

用 LLM judge 评测技能

renjianguojinqianfan/dsh-skill-eval · 技能

DSH 插件:用 LLM judge 评测技能 description 的触发准确率(欠触发/过触发)

★ 2GitHub 星标
0分支
2026-08-25最近更新
JavaScript开发语言
MIT许可证

主要功能

  • 枚举会话中模型可调用的技能(ctx.skills.snapshot)。
  • index.js — 插件入口注册 runskilleval 工具与 /skill-eval 命令。
  • 逐字复现官方 catalog 消息( + + 归一化/截断/转义的描述)。
  • 对每条查询让 judge 模型判断目标技能是否应触发,强制一行 YES/NO 回答。
  • 评测衡量的是 judge 模型视角下该技能描述的路由准确率。

安装命令

dsh plugin --profile web add github:renjianguojinqianfan/dsh-skill-eval
查看 GitHub 仓库 ↗返回热门插件目录