前言 请打开日间模式进行阅读 本来是想学习RoPE(旋转位置编码),所以回去从头从最开始的三角函数式位置编码开始看，发现自己当时学的还是浅了。在此总结一下。 注:本文涵盖不了所有位置编码，只挑主流的去学习。具体就是由绝对位置编码到相对位置编码再到RoPE 三角…
由Sinusoidal位置编码到RoPE
LoRA小结
前言：PEFT的诞生 传统的预训练-下游任务微调的范式，是对预训练模型所有参数进行微调，即全量微调。之前基于Bert、GPT1的下游微调任务都是这么干的。因为当时的预训练模型参数量比较少，所以速度并没有那么慢。…
GPT3与ChatGPT有什么不同？——RLHF技术小结
1.前言 在2022年11月30日，ChatGPT横空出世。ChatGPT和GPT看起来都是GPT，为什么ChatGPT可以“Chat”? 首先从官方寻找答案： 可…
Bert源码解读(HuggingFace Transformers源码)
BertMoedel的架构组成： 在HuggingFace中,对应Bert模型的主要就是BertMoedel这个类: from transformers import BertModel HF源码对BertMoedel的封装也是一…
记录一个好笑的bug
总所周知用nn.CrossEntropyLoss()算损失的时候需要将input_data和label展开对齐，也就是必须符合：(N,C)和(N)的格式，而在NER任务中最后往往输出的是：(batch_size,seq_len,class_num) 和(batch_size,seqlen),所以需要这两个view一下。我的代码是：
outputs = model(input_ids=input_ids)
ouputs=outputs.view(-1, num_classes) # (batch_size*seq_length, num_classes)
labels = labels.view(-1) # (batch_size*seq_length)
#print(outputs.shape, labels.shape, labels.dtype)
loss = criterion(outputs, labels)根本看不出有什么不对劲。 但是debug总是显示这里维度不匹配，问了好几遍GPT，他也没看出来，直到一遍遍排查，我把GPT说的所有可能的错误都说了，又发给他看。
我噗呲一下笑出来—————气笑了。 人在无语的时候真的想笑，尤其搭配上GPT这个语气，他真的好像人一样
The Annotated Transformer学习笔记(Transformer的pytorch实现)(下)
前言 上篇已经模型架构的代码都学习了，本章学习一下如何训练。 Batches and Masking 文章中的很多模块功能都是定义一个类，首先是batch和mask…
The Annotated Transformer学习笔记(Transformer的pytorch实现)(上)
前言 本文章为《The Annotated Transformer》的学习笔记。文章名为：带有注释版的Transformer，实际上就是用代码实现了一下《attention is all your need》中的各个章节模块。原文地址：https://nlp.…
Transformer小结
前言 终于！！前面学了那么多，终于轮到主角登场了：大名鼎鼎的Transformer。理所当然的，就要去读一下原论文：《attention is all your need》 论文地址：https://arxiv.org/pdf/1706.03762 论文摘要介…