这里收集深度学习相关笔记:基础概念、论文阅读、训练细节、实验记录与踩坑复盘。
怎么入门新领域?5 分钟带你入门 3D 点云
入门一个新领域时,很多人的第一反应是去搜“XX 带你入门”,然后看半天网课。 但我现在越来越觉得,入门的核心不是先堆资料,而是先抓住这个领域最核心的问题。 入门先抓核心问题 举几个例子: VLA 的最终目标,是让机械臂更好地理解指令并完成动作。 LLM 的核心问题,是如何让 token 按照更合理的语义和逻辑继续生成。 …
模型、训练、论文阅读与实验复盘。
这里收集深度学习相关笔记:基础概念、论文阅读、训练细节、实验记录与踩坑复盘。
入门一个新领域时,很多人的第一反应是去搜“XX 带你入门”,然后看半天网课。 但我现在越来越觉得,入门的核心不是先堆资料,而是先抓住这个领域最核心的问题。 入门先抓核心问题 举几个例子: VLA 的最终目标,是让机械臂更好地理解指令并完成动作。 LLM 的核心问题,是如何让 token 按照更合理的语义和逻辑继续生成。 …
研究大模型和多模态模型时,我们经常会用 attention map 来观察 token 之间的依赖关系。很多人会把它当成一种“信息流”分析工具。 但问题是:attention 分数真的能说明模型用了哪些信息吗? 这篇论文的核心观点是:只看 attention 可能不够,应该进一步看 saliency,也就是 …
这个栏目用于沉淀深度学习方向的阅读和实验记录。 可以从模型结构、训练技巧、数据处理、评估方法和论文复现几个方向逐步展开。