DSH 插件评测工具

主要功能

• eval_run跑 cases_dir 下全部用例：headless 驱动真实 agent → 采集 session trace → 断言 → 写 report.json/report.md
• eval教模型帮用户编写评测用例（用例格式、断言编写要点、解析子集约束）
• LLM-as-judge（output_judge）表达「解释原因而非只给结论」这类写不出正则的语义 期望。
• eval_gate对比 baseline 与本次报告，输出门禁判定（OVERALL/EXIT_CODE），strict 模式收紧 WARN 退出码
• eval_judge_validate在人工标注集上校准 LLM judge：报混淆矩阵与 TPR/TNR（分开看，agreement 会骗人），双指标达标才算 calibrated