WMX · 随记Brier 分数：概率预测也需要检查可靠性
两个模型的预测标签相同，但一个给 0.6，另一个给 0.99。若业务按概率做决策，仅比较标签准确率会遗漏过度自信的问题。
▶ 本文含视频讲解▶ 教学视频手动播放 · 英语讲解
But what is a neural network?
视频介绍分类神经网络的基础；本文进一步讨论数据划分或评估指标，视频不是这些指标的逐项教程。此为外部原版课程，多篇笔记可能共用；未剪辑为本文专属视频。
播放器需要能访问 YouTube 的网络；若这里无法加载，可打开原视频。本文与本地图解仍可独立阅读。
问题从哪里出现
两个模型的预测标签相同，但一个给 0.6，另一个给 0.99。若业务按概率做决策，仅比较标签准确率会遗漏过度自信的问题。
理解核心机制
二分类 Brier 分数是预测概率与零一标签之间平方误差的均值。它评估概率预测质量，但不能单独分离校准、区分能力和数据本身的不确定性。
动手做一个小实验
Python 3.11 或更新版本，仅使用标准库；将示例保存为 demo.py 后执行 python3 demo.py。数字与样本均为教学演示，不代表真实模型或服务器的测量结果。
truth = [1, 0, 1, 0]
moderate = [0.7, 0.3, 0.6, 0.4]
overconfident = [0.99, 0.01, 0.01, 0.01]
def brier(probabilities):
return sum((p-y)**2 for p, y in zip(probabilities, truth)) / len(truth)
assert brier(moderate) < brier(overconfident)
print(brier(moderate), brier(overconfident))适用边界与常见误区
四条合成样本不足以得出真实校准结论。可靠性图需要足够样本和合理分箱，校准模型也应在独立数据上拟合并评估。
继续练习
按概率区间统计平均预测值与实际正例率，记录每箱样本数，并检查小样本箱是否导致不稳定结论。