VLA 详细的入门基础

Wed, 08 Jul 2026 00:05:00 +0000

2026 年的 VLA 很少有很深的技术积累，上层还是比较空的，所以速通的时间可以比较快。但后面想要做深、做 work，就要好好学习基础。

这份学习路线有几个特点：

不从 CNN 等传统内容开始，而是直接从 LLM 到 VLA。学习时间比较短，适合三个月速通，或者适合一些想要等有一定知识之后再补基础的人。
从项目入手，由上至下地学习。不先打完整基础，而是锚定一个核心目的猛扎，在这个过程中学习需要掌握的知识。但是这样一定需要养成独立思考的能力、询问问题的能力，认知范围和圈子才能不断扩大。

具体的入门历程，我个人推荐如下。

1. 大模型基础

这一部分可以不按照传统的深度学习路线来，直接从 Transformer 开始看起。

推荐炮哥带你一起学的 Transformer 教程，深度了解 Transformer 的基础。如果想要学得深一点，可以看苏剑林的博客或者李沐。然后去过一下 ViT，知道什么是 VLM，了解模型训练和推理的基本流程。

这两个网课再速通，也可以不跟着炮哥做项目。

这里可以去做 CS336 A1 或者 DeepMind 等项目，目的是了解完整的模型和整个框架。

不推荐用 Agent 等工具一键生成之后再去读代码，而是自己慢慢读、慢慢写，用小数据跑通，再加上简单的推理。做到这一步时，对模型的信息流以及工程基础就有感觉了。

去看论文和开源代码，不要怕看不懂。

这里推荐看 StarVLA 这个项目，目的是了解 VLA 发展，以及知道什么是 VLA。目前很多 VLA 都使用它作为 codebase。熟悉它里面的 OFT、Pi、GR00T 等几个模型，在一定程度上就能看到 VLA 的几个分支。

在这个过程中去补基础，比如什么是 Flow Matching，什么是 Diffusion，什么是 VAE，什么是 CNN，什么是 SFT 等。看的时候可以顺带看最近日期的综述，了解当前 VLA 的发展；也可以上手改 StarVLA，修改动作头，重新训练并跑 benchmark。

这时候可以去看 JEPA、Fast-WAM、WAM 综述、世界模型，看《强化学习的数学原理》，看 PI0.5、PI 等论文。