https://low-hands.github.io/zh-cn/posts/internship/llm/Recent content in 大模型 on 郭睿的博客Hugo -- gohugo.iozh-cnMon, 02 Mar 2026 23:25:00 -0800https://low-hands.github.io/zh-cn/posts/internship/llm/llm-architecture/encoder-only/Mon, 02 Mar 2026 23:25:00 -0800https://low-hands.github.io/zh-cn/posts/internship/llm/llm-architecture/encoder-only/<h1 id="什么是预训练">什么是预训练</h1> <p>通过自监督（无标注）来初始化神经网络模型参数</p> <p>学习一种通用的语言理解能力</p> <h1 id="bert">BERT</h1> <h2 id="bert的预训练任务">BERT的预训练任务</h2> <h3 id="masked-language-modeling">Masked Language Modeling</h3> <p>将输入序列中的一部分（15%）token替换掉，然后去预测,让模型去预测这些词是什么。</p> <h4 id="8-1-1">8-1-1</h4> <p>80%的词被设为<code>[MASK]</code>：完形填空，能联系上下文的双向语义</p> <p>10%被替换为词表中的任意随机token：模型不知道哪些是随机的，可以提高模型的纠错能力。逼迫模型联系全局语境，根据语境生成预测的词向量。</p> <p>10%保持原始token不变：把模型对词的表征拉向真实的表征</p> <h4 id="优化目标">优化目标</h4> <p>$$\mathcal{L}<em>{MLM} = - \sum</em>{i \in m} \log P(x_i | \tilde{X}; \theta)$$ 输入的损坏序列为 $\tilde{X}$，被选中的掩码位置集合为 $m$，$\theta$ 为模型参数</p> <p>模型预测出第 $i$ 个位置真实单词 $x_i$ 的概率 $P$ 越大，取对数后再加负号得到的损失值 $\mathcal{L}$ 就越小</p> <p>也就是说：虽然模型在顶层其实会输出句子中每一个词的预测结果（包括那 85% 没有被选中的正常词），但系统在计算 Loss 时，只挑出那 15% 被选中（无论是变 [MASK]、变随机词还是保持原词）的位置进行计算。 剩下 85% 位置的输出会被直接无视，不参与打分。</p> <h3 id="next-sentence-prediction">Next Sentence Prediction</h3> <p>随机抽取句子对（A，B），判断B是不是A的后续句子。增强跨句子理解的能力</p> <p>50%真组合，50%假组合</p> <h4 id="cls--a--sep--b--sep">[CLS] + A + [SEP] + B + [SEP]</h4> <p><code>[CLS]</code>分类符，放在序列首位判断是不是next</p> <p><code>[SEP]</code>分隔符，分割两个句子</p> <h4 id="优化目标-1">优化目标</h4> <p>$$\mathcal{L}_{NSP} = - \left[ y \log \hat{y} + (1-y) \log (1-\hat{y}) \right]$$</p>