在现代 LLM 中，RMSNorm 已经成为非常常见的归一化方式。它可以看作是 LayerNorm 的一个简化版本。 要理解 RMSNorm，最自然的方式是先从 LayerNorm 开始。 1. LayerNorm 在做什么？ 对于一个 hidden stat…
从 LayerNorm 到 RMSNorm：为什么可以去掉均值？
CLIP、SigLIP、SigLIP2小结
写在前面：这个文章是我快速回顾这些知识点的输出，出发点并不是写一个易懂的知识博客，读者多多包涵。 CLIP CLIP的结构非常简单，输入端是图文对,训练数据中的图文对是具有强相关的，即文本就是图片的描述。 然后图片和文本都会经过一个编特征提取器，一般图片是用R…
熵、交叉熵、KL散度的区别
熵、交叉熵、KL 散度的区别 信息量 很多教程会直接摆出熵的定义，但个人认为这之前最好先了解一下信息量这个概念。 从字面上来说，信息量就是衡量一件事情的信息量有多少…
由Sinusoidal位置编码到RoPE
前言 请打开日间模式进行阅读 本来是想学习RoPE(旋转位置编码),所以回去从头从最开始的三角函数式位置编码开始看，发现自己当时学的还是浅了。在此总结一下。 注:本文涵盖不了所有位置编码，只挑主流的去学习。具体就是由绝对位置编码到相对位置编码再到RoPE 三角…
LoRA小结
前言：PEFT的诞生 传统的预训练-下游任务微调的范式，是对预训练模型所有参数进行微调，即全量微调。之前基于Bert、GPT1的下游微调任务都是这么干的。因为当时的预训练模型参数量比较少，所以速度并没有那么慢。…
GPT3与ChatGPT有什么不同？——RLHF技术小结
1.前言 在2022年11月30日，ChatGPT横空出世。ChatGPT和GPT看起来都是GPT，为什么ChatGPT可以“Chat”? 首先从官方寻找答案： 可…
Bert源码解读(HuggingFace Transformers源码)
BertMoedel的架构组成： 在HuggingFace中,对应Bert模型的主要就是BertMoedel这个类: from transformers import BertModel HF源码对BertMoedel的封装也是一…
记录一个好笑的bug
总所周知用nn.CrossEntropyLoss()算损失的时候需要将input_data和label展开对齐，也就是必须符合：(N,C)和(N)的格式，而在NER任务中最后往往输出的是：(batch_size,seq_len,class_num) 和(batch_size,seqlen),所以需要这两个view一下。我的代码是：
outputs = model(input_ids=input_ids)
ouputs=outputs.view(-1, num_classes) # (batch_size*seq_length, num_classes)
labels = labels.view(-1) # (batch_size*seq_length)
#print(outputs.shape, labels.shape, labels.dtype)
loss = criterion(outputs, labels)根本看不出有什么不对劲。 但是debug总是显示这里维度不匹配，问了好几遍GPT，他也没看出来，直到一遍遍排查，我把GPT说的所有可能的错误都说了，又发给他看。
我噗呲一下笑出来—————气笑了。 人在无语的时候真的想笑，尤其搭配上GPT这个语气，他真的好像人一样
The Annotated Transformer学习笔记(Transformer的pytorch实现)(下)
前言 上篇已经模型架构的代码都学习了，本章学习一下如何训练。 Batches and Masking 文章中的很多模块功能都是定义一个类，首先是batch和mask…