Hallucination

判断幻觉还在看 attention sink 吗？直接用 saliency 判断大模型幻觉

研究大模型和多模态模型时，我们经常会用 attention map 来观察 token 之间的依赖关系。很多人会把它当成一种“信息流”分析工具。 但问题是：attention 分数真的能说明模型用了哪些信息吗？ 这篇论文的核心观点是：只看 attention 可能不够，应该进一步看 saliency，也就是 …