首页 · 第 3 页

2026 / 11 / 073 分钟阅读

把任意实数映射到零和一之间，可用 sigmoid。输入绝对值很大时输出接近端点，梯度也会变小。

2026 / 11 / 073 分钟阅读

训练循环通常被框架隐藏，但参数更新可以从一个只有斜率的模型看清楚。数据、预测、损失、梯度和更新各有职责。

2026 / 11 / 073 分钟阅读

手写一个求导公式后，符号或系数错误可能让优化器朝反方向走。有限差分能作为小规模梯度检查工具。

2026 / 11 / 073 分钟阅读

分类模型选对标签并不说明概率分布理想。正确类别得到 0.51 和 0.99，虽然预测标签相同，训练损失却不同。

2026 / 11 / 073 分钟阅读

对很大的 logits 直接取指数会溢出。概率公式在数学上有效，不代表朴素实现能在有限精度下稳定工作。

2026 / 11 / 073 分钟阅读

把低概率词排除能限制采样空间，但 top-k 是按候选数量截断，与按累计概率截断的 top-p 不同。理解这一点有助于解释生成变化。

2026 / 11 / 073 分钟阅读

调低温度常被理解为“更准确”，但它直接改变的是采样分布的集中程度。模型若把错误答案排在首位，更集中也可能更稳定地输出错误。

2026 / 11 / 073 分钟阅读

语言模型输出下一个符号听起来抽象。先用相邻字符的频率做一个极小模型，可以直观看到“给定上下文，得到候选分布”的过程。

2026 / 11 / 073 分钟阅读

把检索片段一直追加到提示词里，可能在提交请求时超过上下文限制。只检查用户输入长度，会忽略系统指令、历史对话和输出预留。

2026 / 11 / 073 分钟阅读

Python

测试业务分支时，真的发送邮件或请求远程服务既慢又不稳定。把外部依赖作为参数传入，可以在测试中替换为记录调用的对象。

2026 / 11 / 073 分钟阅读

Python

寻找一个值的位置时，列表可能含有重复项。二分查找不仅能判断成员，还能找到相同值区间的左右边界。

2026 / 11 / 073 分钟阅读

Python

只保留最近几次观测时，列表头部删除会移动后续元素。deque 适合两端操作，maxlen 可以表达固定容量窗口。