https://low-hands.github.io/posts/transformer/Recent content in Transformer on Rui's BlogHugo -- gohugo.ioenTue, 27 Jan 2026 16:49:00 -0800https://low-hands.github.io/posts/transformer/models/lstm/Tue, 27 Jan 2026 16:49:00 -0800https://low-hands.github.io/posts/transformer/models/lstm/<p>pending</p>https://low-hands.github.io/posts/transformer/models/rnn/Mon, 26 Jan 2026 23:57:00 -0800https://low-hands.github.io/posts/transformer/models/rnn/<h1 id="结构">结构</h1> <p><img src="https://low-hands.github.io/posts/transformer/models/rnn/structure.png" alt="structure"> 纵向看，每一列相当于一个小的传统神经网络</p> <p>x：输入层，长度为word embedding的维度</p> <p>U：输入层到隐藏层的权重</p> <p>s：隐藏层 = f(U * xt + W * s(t-1) + bias),即输入层的计算结果加上上一时刻的结果乘上一个权重W</p> <p>V: 隐藏层到输出层的权重</p> <p>o：输出 = softmax(V * st + bias)</p> <h1 id="注意">注意</h1> <ul> <li>由公式可见，每个隐藏层s的值不仅依赖于当前时刻的输入，而且依赖于<strong>上一个时刻的的结果s(t-1)</strong></li> <li>U,V,W都是共享的</li> <li>不一定每一个时刻都要有一个输出，也就是说不是每一个小神经网络都必须有输出，它可以是不完整的</li> </ul> <h1 id="举例">举例</h1> <p><img src="https://low-hands.github.io/posts/transformer/models/rnn/8397aaf6-1669-46b3-8465-791ed748404f.png" alt="example"></p> <p>这是一个时间序列做预测的例子，一共有三天的数据，预测明天的数据</p> <p>w1 = U = 1.8， w2 = W = -0.5，w3 = V = 1.1</p> <p>x0 = 1, x1 = 0.5, x2 = 0.5 这里的输入只是数字而不是向量</p> <h2 id="day0">Day0</h2> <p>s0 = f(1.8 * 1 + -0.5 * 0) = f(1.8) = 1.8</p>https://low-hands.github.io/posts/transformer/tokenizer/Mon, 26 Jan 2026 22:20:00 -0800https://low-hands.github.io/posts/transformer/tokenizer/<p>sasa</p>https://low-hands.github.io/posts/transformer/embedding/Mon, 26 Jan 2026 22:20:00 -0800https://low-hands.github.io/posts/transformer/embedding/<h1 id="one-hot">One-hot</h1> <p>每个token表示为一个长向量，每个向量的维度为词表的大小，向量中只有一个维度的值为1，一般为该词在词表中的索引</p> <h2 id="举例">举例</h2> <p>假设用 one-hot对句子进行表示，对句子分词之后，我们可以得到[&lsquo;我‘，’爱‘，’北京‘，’天安门‘]，可以用one hot（独热编码）对单词进行编码。具体为：</p> <p>“我”可以表示为[1,0,0,0]</p> <p>&ldquo;爱&quot;可以表示为[0,1,0,0]</p> <p>&lsquo;北京&rsquo;可以表示为[0,0,1,0]</p> <p>&lsquo;天安门&rsquo;可以表示为[0,0,0,1]</p> <h2 id="问题">问题</h2> <ul> <li>one-hot向量之间彼此正交，无法识别每个词之间的关系（无法计算相似度，都为0）</li> <li>维度爆炸。维度和词表有关系，模型训练难度增大</li> <li>向量稀疏，难以捕捉语义关系，因为数据点分布系数，距离度量失效。而且稀疏矩阵存储效率低</li> </ul> <h1 id="词嵌入">词嵌入</h1> <p>词嵌入（Word Embedding）是将人类语言中离散、抽象的文本词汇，通过算法映射为计算机可理解的「连续、稠密的低维实数向量」 的文本表示技术</p> <h1 id="分布式表示">分布式表示</h1> <p>词嵌入将词表示为一种分布式的形式。分布式表示是将词转化成一个定长、稠密并且存在语义关系的向量，即分布相似的词，是有相似的语义的</p> <h2 id="word2vec">Word2Vec</h2> <h3 id="cbow">CBOW</h3> <h3 id="skip-gram">Skip-gram</h3>