我们怎么测

一句话：同一台机器、同一个模型、同一份输入，跑真实任务；先证明问题能失败，再比较谁做得好。

测什么 / 不测什么

• 测：任务成功率、输出质量、时间与成本、失败模式、适用边界。
• 不测：安装兼容性（radar / dshbase 已做）、安全审计、UI 外观、作者背景。

公平性

• 固定 DSH 版本、模型、机器、输入、时间预算；
• 每项跑 3 次，取中位；每次独立 HOME 与工作区；
• 按官方文档安装；装不上就记“装不上”，不手工修；
• 自己的插件单列，标“作者自测”，不参与排名。

先证明题能失败

每道题必须先跑基线（不装插件）。基线能过，说明测的是宿主或模型，不是插件——题目作废，重设计。

评分

• 成功率 50%、质量 30%、效率 20%，权重先定死；
• 质量用 1–5 rubric，两个评审，分歧 >1 分复核；
• 不输出单一总排名，按任务给结论。

证据

每次运行保留命令、日志、输出、截图、JSON；报告附复现命令与固定输入，数据可重跑。

告知与更正

测完邮件或 GitHub Issue 告知作者，72 小时申辩期；复核后更正并保留修订记录，不删稿。

节奏

每月一个品类；先做记忆与上下文，再做 ComfyUI、Blender。