33
33's AI Notes

Math · VLA/WAM · AI Learning

欢迎沟通!最近目标:学习说话。。。

Deep Learning

怎么入门新领域?5 分钟带你入门 3D 点云

入门一个新领域时,很多人的第一反应是去搜“XX 带你入门”,然后看半天网课。 但我现在越来越觉得,入门的核心不是先堆资料,而是先抓住这个领域最核心的问题。 入门先抓核心问题 举几个例子: VLA 的最终目标,是让机械臂更好地理解指令并完成动作。 LLM 的核心问题,是如何让 token 按照更合理的语义和逻辑继续生成。 …

判断幻觉还在看 attention sink 吗?直接用 saliency 判断大模型幻觉

研究大模型和多模态模型时,我们经常会用 attention map 来观察 token 之间的依赖关系。很多人会把它当成一种“信息流”分析工具。 但问题是:attention 分数真的能说明模型用了哪些信息吗? 这篇论文的核心观点是:只看 attention 可能不够,应该进一步看 saliency,也就是 …