位置编码在transformer中主要是给序列中的向量加上位置的信息，因为attention本身是无法感知位置信息的。两个长度为$l$的序列：$Q=[\mathbf q_0, \cdots, \mathbf q_{l-1}],~ K = [\mathbf k_0, \cdots, \mathbf k_{l-1}]$，有$\mathbf q_{m}, \mathbf k_n \in \mathbb R^{d}$。我们在计算$\mathbf q_{m}, \mathbf k_n$的score时候会对它们做内积，这个内积和它们的序号是完全没关系的。
Vibe coding is coming … 你准备好了吗？作为一个人工智能相关的学生，我居然一直坚持“古法”编程至今。近期冲动消费购买了一年的gpt，同时deepseek v4势不可挡发布，再不尝试一下就说不过去了。于是，我想到了很久没有更新的博客。
舅舅是个了不起的人，在他那一代里，他应该是最有出息的。说起来我对他并不了解，只是很小的时候在他家里住过，也许是他第一次让我知道了火车是什么东西。
这篇文章来介绍一个经典的生成模型，Variational Auto Encoder，也被称为VAE。它有着比较好的效果和比较优美的理论推导，也是理解最近大放异彩的模型diffusion model的基础。
现在用来记录的东西，除了这个hexo搭的博客，另外一个就是notion。他们靠谱好用，免费，但是不管怎么说都是别人的工作。而曾经的我也全栈操作做过一个论坛+博客系统，那时候英文不太行，也是想着进步的青年，evolution这个单词对于我来说算是很酷的，所以我的论坛名字也叫EVOLUTION（现在我更喜欢revolution这个词了）。
文艺复兴，突发奇想想要重新把自己的博客搭起来。仔细研究一下，发现其实变化不大，但还是遇到了一些问题，所以在这里记录一下。
这是不看ufc的人，也可以听的一个关于人民冠军“夜魔”弗格森的故事。
本篇文章记录一下图神经网络的基本内容，是看了李沐老师讲的一篇博客。博客连接如下：https://distill.pub/2021/gnn-intro/。
这次跟着李沐老师读了Transformer的原始论文：Attention is All You Need。这篇文章不长，但是构架比较新，而且一开始面对的是NLP的问题，所以其实对我来说信息量挺大的；再加上它是后面很多工作的基础，包括attention机制在视觉领域也表现得很好，所以还是专门写一篇记录一下。
GAN现在已经开创了一个新的领域了，但是惭愧的是我一直没有去读它。今天看了一下李沐老师的解读，简单介绍一下它的思想。Paper链接：https://arxiv.org/pdf/1406.2661.pdf。
LeGO LOAM: Lightweight and Ground-Optimized Lidar Odometry and Mapping on Variable Terrain.
IMU预积分，耳熟能详，但是一直没有仔细了解。这里详细介绍一下。
回顾一下SLAM中的几何基础。
本文为拆解LIO-SAM代码的第二部分。
本文为拆解LIO-SAM代码的第一部分。
Lio-sam: https://github.com/TixiaoShan/LIO-SAM
Lio-sam has a similar code structure with A-LOAM (more similar to LeGO-LOAM, but without ground points). However, they are very different. A-LOAM doesn’t have a pose graph optimization in back-end. It uses current scan to matching the global map, which can lead to drift over a long distance scanning.
本文为拆解LOMA代码的第一部分。
本文为LOAM的代码拆解第三部分。
本文为拆解LOAM代码的第二部分。