熵、交叉熵、KL 散度的区别 信息量     很多教程会直接摆出熵的定义，但个人认为这之前最好先了解一下信息量这个概念。     从字面上来说，信息量就是衡量一件事情的信息量有多少…