AI 技术笔记 · 第 2 页

2026 / 11 / 073 分钟阅读

长文档切块时，关键句可能刚好跨过边界。保留部分重叠能缓解上下文断裂，但会增加索引体积与重复检索。

2026 / 11 / 073 分钟阅读

两个模型的预测标签相同，但一个给 0.6，另一个给 0.99。若业务按概率做决策，仅比较标签准确率会遗漏过度自信的问题。

2026 / 11 / 073 分钟阅读

多分类模型的平均指标下降后，很难知道是哪两类容易混淆。混淆矩阵把真实类别和预测类别交叉排列，方便定位错误结构。

2026 / 11 / 073 分钟阅读

当一百个样本只有两个正例时，始终预测负类也能得到很高准确率。这个基线揭示了总体指标可能遮蔽的失败。

2026 / 11 / 073 分钟阅读

检测系统不能只报告“准确”。抓到了多少真实目标，以及发出的告警有多少是真的，分别对应不同的业务成本。

2026 / 11 / 073 分钟阅读

先对全量数据求均值再切分，看起来只是预处理，却让测试集信息进入了训练流程。这样得到的评估可能过于乐观。

2026 / 11 / 073 分钟阅读

只对 token 内容做注意力，模型难以区分相同词在不同顺序中的角色。序列任务需要某种位置或相对距离信息。

2026 / 11 / 073 分钟阅读

注意力不是简单“挑一个最重要的词”，而是把匹配分数变成权重，再混合对应的值向量。查询、键和值承担不同角色。

2026 / 11 / 073 分钟阅读

两个候选向量方向相近，但长度差很多，点积可能主要反映长度。选择相似度之前，需要知道模型训练时如何使用向量。

2026 / 11 / 073 分钟阅读

模型代码里的形状错误经常来自混淆样本数、输入特征数和输出维度。把维度名称写清楚，比反复试 transpose 更可靠。

2026 / 11 / 073 分钟阅读

神经网络图里的圆圈很容易让人忽略实际计算。先把一个神经元展开，就能看清输入维度和参数数量。

2026 / 11 / 073 分钟阅读

多层线性变换连在一起仍可合并成一个线性变换。激活函数引入非线性，才让网络能表达更复杂的关系。