[case] domux-4057-full-eval - 97.58% accuracy on full 4057-sample official eval

[gebibd00-jpg]

Ref #20

结果（官方 4057 条测试集全量，指标逐字沿用 eval/run_eval.py）

• 格式合规 100.00% / 结果准确率 97.58% / Slot F1 99.60% / Intent F1 98.17%
• 独立复现与模型卡 98.37% 仅差 0.79pp；失败模式分析见案例

环境

• RTX 4090D 24GB（AutoDL 按量付费），transformers 5.15.1 + torch 2.13.0，BF16，greedy，batch 8
• 模型 revision 6c71a32f4d624cadfd9fce9d10240d8068e53456（Hugging Face 下载，非 ModelScope）

公开 Discussion（唯一有效渠道）

• https://huggingface.co/iFlytekOpenSource/Domux/discussions/2

（本 PR 取代因分支重建而自动关闭的 #21，内容一致，已补 DCO 签名）

[FenjuFu]

已按 #20 的 10 条验收标准核对本案例：

• 真实使用 / 真实运行 / 可复现 ✓：testedRevision 6c71a32f4d624cadfd9fce9d10240d8068e53456 已固定，hf download ... --revision 命令、BF16 精度、batch=8 记录完整；指标函数逐字沿用官方 eval/run_eval.py。
• 唯一渠道 ✓：Discussion #2 已公开可达，标题带 [HER Hack-Astron #4]，内容与本案例一致，channels 与之匹配。
• 指标诚实 ✓：给出样本量 / 类别 / 延迟；97.58% result accuracy、100% 格式合规。
• 包含边界 ✓：分析了 3 类失败模式（多意图下楼层/房间继承丢失、属性混淆、房间推断边界）。
• 无权重 / 无敏感信息 ✓：PR 仅含 README.md + preview.png。
• 账号信誉 ✓：近 30 天仅在本仓开 PR（早期跨仓活动集中在 5–7 月，不落入 30 天窗口）。

小建议：正文提到 RTX 4090D，建议在 frontmatter / 复现说明里把硬件写全（GPU 型号 + 显存），方便他人对齐环境。

综合：有效案例。最终评奖由 @FenjuFu 统一裁定。

[gebibd00-jpg]

感谢逐条核对！小建议已落实：frontmatter 的 hardware 字段与 Setup 节均已写全为 "NVIDIA GeForce RTX 4090D，24564 MiB"（含 AutoDL 按量付费环境说明），commit 已推送到本分支。

[FenjuFu]

???? head 878e7a2?????????????????frontmatter ? Setup ??? NVIDIA GeForce RTX 4090D / 24564 MiB?????? RUNBOOK??????????????/?????? BF16 ? NF4 ? 4,057 ???????????????????????

??????? #20 ??????revision ???Discussion #2 ???????????????????????????????????????DCO ? CLA ????

??????????????????????????????????????????

[FenjuFu]

复审确认（评奖前最终核对）：08-27 新增的 NF4 4-bit 量化对比（BF16 vs NF4，4057 全量）扩展了「端侧效率 / 量化」赛题方向，样本量与方法在 report 中标注一致。此前核过的硬性验收——真实 tested revision、原始 Domux 输出、HF Discussion #2 公开渠道、失败簇分析、未提交权重且无 token/敏感信息——依然成立。有效案例。

最终评奖将在活动评奖期（8-31 – 9-6）统一公布。