熵、交叉熵、KL 散度的区别 信息量 很多教程会直接摆出熵的定义，但个人认为这之前最好先了解一下信息量这个概念。 从字面上来说，信息量就是衡量一件事情的信息量有多少…
熵、交叉熵、KL散度的区别
由Sinusoidal位置编码到RoPE
前言 请打开日间模式进行阅读 本来是想学习RoPE(旋转位置编码),所以回去从头从最开始的三角函数式位置编码开始看，发现自己当时学的还是浅了。在此总结一下。 注:本文涵盖不了所有位置编码，只挑主流的去学习。具体就是由绝对位置编码到相对位置编码再到RoPE 三角…