测试的时候非常多UserWarning: No valid tokens found for hash_key

[SuperTom99]

我发现测试的时候很多这个警告UserWarning: No valid tokens found for hash_key，然后几次测试下来小数点后很多位都一样
50
[1, 3, 5, 10, 20, 50]
NDCG: [0.04831238 0.06227053 0.06610623 0.07247104 0.07653582 0.08122574]
HR [0.04831238 0.07235826 0.08162365 0.10125745 0.11714097 0.14074564]
0
我SFT的配置是：
                "--base_model", "/data/xx/qwen2-0.5b-ins/",
                "--output_dir", "/home/xx/rec/MiniOneRec/output",
                "--train_file", "/home/xx/rec/MiniOneRec/data/Amazon/train/Industrial_and_Scientific_5_2016-10-2018-11.csv",
                "--eval_file", "/home/xx/rec/MiniOneRec/data/Amazon/valid/Industrial_and_Scientific_5_2016-10-2018-11.csv",
                "--sid_index_path", "/home/xx/rec/MiniOneRec/data/Amazon/index/Industrial_and_Scientific.index.json",
                "--item_meta_path", "/home/xx/rec/MiniOneRec/data/Amazon/index/Industrial_and_Scientific.item.json",
                "--category", "Industrial_and_Scientific", // 必须是脚本中字典包含的 Key
                "--freeze_LLM", "False"

请问这样配置有错误吗

[SuperTom99]

另外，观察到rl的时候也会出现很多无效token

[Gavin-Cool]

同问，rl的时候会出现很多无效token，是因为模型没有训练收敛的缘故吗？