前言 请打开日间模式进行阅读 本来是想学习RoPE(旋转位置编码),所以回去从头从最开始的三角函数式位置编码开始看，发现自己当时学的还是浅了。在此总结一下。 注:本文涵盖不了所有位置编码，只挑主流的去学习。具体就是由绝对位置编码到相对位置编码再到RoPE 三角…
由Sinusoidal位置编码到RoPE
LoRA小结
前言：PEFT的诞生 传统的预训练-下游任务微调的范式，是对预训练模型所有参数进行微调，即全量微调。之前基于Bert、GPT1的下游微调任务都是这么干的。因为当时的预训练模型参数量比较少，所以速度并没有那么慢。…
计算机网络学习笔记：第六章 应用层
6.1 应用层概述 应用层是计算机网络体系结构的最顶层，是设计和建立计算机网络的最终目的，也是计算机网络中发展最快的部分。 6.2 C/S模式与P2P模式 客户/服务器 (Client/Server,C/S)方式 对等(Peer-to-Peer,P2P)方式 …
计算机网络学习笔记：第五章 运输层
5.1运输层概述 运输层直接为应用进程间的逻辑通信提供服务 计算机网络体系结构中的物理层、数据链路层以及网络层它们共同解决了将主机通过异构网络互联起来所面临的问题，实现了主机到主机的通信。 但实际上进行通信的是位于通信两端主机的进程 如何为运行在不同主机上的应…
计算机网络学习笔记：第四章 网络层
4.1 网络层概述 4.2 网络层的两个层面(两种服务) 面向连接的虚电路服务 无连接的数据报服务 两种服务的比较 4.3 IPv4地址 4.3.1 概述 对于主机和路由来说,IP地址都是32位的二进制代码，为了方便表示，我们在每8位之间插入一个空格，为了方便…
计算机网络学习笔记：第三章 数据链路层
3.1数据链路层概述 链路(Link):就是从一个结点到相邻结点的一段物理线路，而中间没有任何其他的交换结点。 数据链路(Data Link):是指把实现通信协议的硬件和软件加到链路上，就构成了数据链路。 在分层的网络结构体系中数据从一个主机传输到另外一个主机…
鸟哥的Linux基础学习实训教程 电子版PDF资源分享
《鸟哥的Linux基础学习实训教程》这本书相较于《鸟哥的linux私房菜》没有那么火，所以网上有关于这本书的资源就比较少。。但是学校还正好用这本教材。所以在互联网上翻呀翻呀翻，过程太不容易了。 以下是以下是链接 链接：https://pan.baidu.com…
计算机网络学习笔记：第二章 物理层
2.1物理层的基本概念 物理层考虑的是怎样才能在连接各种计算机的传输媒体上传输数据比特流。 物理层为数据链路层屏蔽了各种传输媒体的差异，使数据链路层只需要考虑如何完成本层的协议和服务，而不必考虑网络具体的传输媒体是什么。 物理层的四个特性 机械特性：指明接口所…
计算机网络学习笔记：第一章 概述
1.1计算机在信息时代的作用 略 1.2 互联网概述 网络、互联网和因特网 网络:由若干节点和连接这些结点的链路组成。 互连网:多个网络通过路由器互连起来，形成一个更大的网络，互连网可以看作是"网络的网络" 因特网||互联网(Interne…
Linux学习笔记：shell脚本
shell概论 shell shell的中文翻译是外壳,是一种计算机操作系统中的用户界面，提供了与操作系统内核进行交互的途径。它是用户与操作系统之间的中间层，允许用户执行命令、运行程序和管理文件系统等操作。 &n…