模型评测集的自证:别用练过的题考自己
基准分数上涨,未必代表能力上涨。题目见过一遍,分数就失去了一部分意义。
基准为什么会失真
训练数据里混入了与评测集相似的题目,模型记住答案而不是学会方法,分数自然偏高。
这类污染很难彻底排查,因为训练语料规模太大,来源也不透明。
怎么自查
把评测集做一次改写,换掉措辞与数字,观察分数是否明显下滑。
下滑幅度大,说明模型依赖的是表层模式,而不是可迁移的推理。
留出真正的盲区
保留一部分数据从不进入训练,也不用于调参,只在最后评估时使用一次。
用一次就作废,反复使用同样会让它失去盲区属性。这一条最容易被忽略,重复使用等于自己泄题。
看什么指标
除了正确率,要看错误类型分布:是算错、看漏条件,还是根本没理解题意。
错误类型比总分更能指出下一步该改什么。按错误类型分桶统计,改动的优先级才排得清。
评测的诚实成本
诚实的评测往往不好看,但它是后续决策的依据,虚高的分数只会让方向走偏。
把评测方法一并公开,比只报一个数字更有说服力。别人能照着复现,结论才经得起追问。
本文由合亚嗒资讯网编辑部整理撰写,观点仅供参考;转载请注明来源与链接。