Logo 郭睿的博客
  • 主页
  • 关于我
  • 技能
  • 工作经历
  • 教育经历
  • 更多的
    精选博文 最新博文
  • 博文
  • 笔记
  • 简体中文
    English 简体中文
  • Dark Theme
    Light Theme Dark Theme System Theme
Logo Inverted Logo
  • 博文
  • Markdown 样例
  • 短代码示例
  • Pytorch实战
  • Transformer系列
    • 分词器
    • 词嵌入
    • 模型
      • LSTM
      • RNN
  • 实习八股
    • MiniMind
    • 大模型
      • 大模型架构
        • Encoder-only
  • 算法
    • 二叉树
    • 动态规划
      • 多维动态规划
    • 双指针
      • Leetcode 27.移除元素
      • Leetcode 344.反转字符串
      • Leetcode 541.反转字符串II
      • 滑动窗口
    • 回溯
    • 图论
    • 数组
      • 二分法
    • 链表
  • 论文阅读
    • dLLM
    • YAN
Hero Image
长短期记忆网络 LSTM

结构 纵向看,每一列相当于一个小的传统神经网络 x:输入层,长度为word embedding的维度 U:输入层到隐藏层的权重 s:隐藏层 = f(U * xt + W * s(t-1) + bias),即输入层的计算结果加上上一时刻的结果乘上一个权重W V: 隐藏层到输出层的权重 o:输出 = softmax(V * st + bias) 注意 由公式可见,每个隐藏层s的值不仅依赖于当前时刻的输入,而且依赖于上一个时刻的的结果s(t-1) U,V,W都是共享的 不一定每一个时刻都要有一个输出,也就是说不是每一个小神经网络都必须有输出,它可以是不完整的 举例 这是一个时间序列做预测的例子,一共有三天的数据,预测明天的数据 w1 = U = 1.8, w2 = W = -0.5,w3 = V = 1.1 x0 = 1, x1 = 0.5, x2 = 0.5 这里的输入只是数字而不是向量 Day0 s0 = f(1.8 * 1 + -0.5 * 0) = f(1.8) = 1.8

    Tuesday, January 27, 2026 | 1 分钟 阅读
    Hero Image
    循环神经网络 RNN

    结构 纵向看,每一列相当于一个小的传统神经网络 x:输入层,长度为word embedding的维度 U:输入层到隐藏层的权重 s:隐藏层 = f(U * xt + W * s(t-1) + bias),即输入层的计算结果加上上一时刻的结果乘上一个权重W V: 隐藏层到输出层的权重 o:输出 = softmax(V * st + bias) 注意 由公式可见,每个隐藏层s的值不仅依赖于当前时刻的输入,而且依赖于上一个时刻的的结果s(t-1) U,V,W都是共享的 不一定每一个时刻都要有一个输出,也就是说不是每一个小神经网络都必须有输出,它可以是不完整的 举例 这是一个时间序列做预测的例子,一共有三天的数据,预测明天的数据 w1 = U = 1.8, w2 = W = -0.5,w3 = V = 1.1 x0 = 1, x1 = 0.5, x2 = 0.5 这里的输入只是数字而不是向量 Day0 s0 = f(1.8 * 1 + -0.5 * 0) = f(1.8) = 1.8

      Monday, January 26, 2026 | 1 分钟 阅读
      导航
      • 关于我
      • 技能
      • 工作经历
      • 教育经历
      • 精选博文
      • 最新博文
      联系方式:
      • ruig0401@gmail.com
      • low-hands
      • 低手
      • +1 5875886800

      免责声明: This theme is under MIT license. So, you can use it for non-commercial, commercial, or private uses. You can modify or distribute the theme without requiring any permission from the theme author. However, the theme author does not provide any warranty or takes any liability for any issue with the theme.


      Toha Theme Logo Toha
      © 2026 Copyright.
      Powered by Hugo Logo