OrbisLumen

CoT：让模型生成中间步骤#

Chain-of-Thought Prompting（2022） 在少样本示例中加入中间推理步骤，引导模型先分析、再回答。这种方式有助于分解多步问题，论文中的收益在足够大的语言模型上更明显。

不过，可读的推理过程不一定忠实反映模型内部的计算。阅读 CoT 时，仍需要区分“解释看起来合理”和“推理确实可靠”。

LLaVA：把图像接入语言模型#

Visual Instruction Tuning（2023） 中的 LLaVA 可以概括为：

图像 → 视觉编码器 → 投影层 → 大语言模型

LLaVA 用 CLIP ViT 提取图像特征，经可学习的投影层映射到语言模型的嵌入空间，再把这些视觉 token 连同文本一起交给语言模型自回归生成回答。模型由此获得图像上下文，但后续显式推理仍主要以文字展开。

Liu 等，Visual Instruction Tuning 图 1，裁自 Zotero 论文附件，采用 CC BY 4.0 许可。

Multimodal CoT：生成理由时也要看图#

Multimodal Chain-of-Thought Reasoning in Language Models（2023） 将任务分成两阶段：先结合图像与文本生成理由，再结合这些信息和理由预测答案。

我的理解是，视觉信息需要参与理由生成本身，否则模型可能先编出一个错误的视觉事实，再沿着它继续推理。

LLaVA-CoT：把推理组织成阶段#

LLaVA-CoT（ICCV 2025） 将过程拆为四个阶段：

Summary → Caption（视觉描述）→ Reasoning → Conclusion

推理时还可以通过阶段式搜索与回溯比较候选结果，增加测试时计算量。它让推理更有结构，但中间表达仍主要是文字。

文字 CoT 也可能拖累空间推理#

Chain-of-Thought Degrades Visual Spatial Reasoning Capabilities of Multimodal LLMs（ACL 2026） 发现，在所评估的视觉空间任务中，CoT 提示会使表现退化。No-Image++ 消融进一步表明，即使移除图像，模型仍可能依赖题目文字中的先验，幻觉出视觉细节。

这提醒我，延长文字推理并不总能弥补视觉理解的不足；错误的观察也可能被扩写成一条完整的推理链。

GCoT：每一步都给出视觉位置#

Grounded Chain-of-Thought for Multimodal Large Language Models 要求模型逐步识别相关视觉线索，并提供对应区域的坐标。

它同时关注答案准确率、定位准确率，以及答案与定位的一致性。这比单看最终答案更有意义：答对了，也需要检查模型是否找对了依据。

See It, Say It, Sorted：用视觉证据约束解码#

See It, Say It, Sorted（CVPR 2026） 提出无需额外训练的推理框架。它维护一个文字化的视觉证据池，用证据重加权候选 token。仍有歧义时，调用外部视觉模型 GRIT 补充判断，再把新证据放回池中供后续步骤使用。评价这种方法时，除了答案准确率，还值得留意证据本身的质量和额外调用开销。

LIVR：学习不必写成文字的视觉表示#

Latent Implicit Visual Reasoning 加入可学习的隐式视觉推理 token，让模型学习与任务相关的中间视觉表示，无需显式的中间视觉监督。

训练先通过视觉瓶颈，让答案经由这些 token 获取图像信息，再恢复常规注意力连接。相比预先规定裁剪图、深度图等中间形式，这种方式给模型留下了学习视觉抽象的空间。隐式表示的含义也更难直接解释。

Li 等，Latent Implicit Visual Reasoning 图 2，裁自 Zotero 论文附件，采用 CC BY 4.0 许可。

LVR：在视觉嵌入空间自回归#

Latent Visual Reasoning（Li 等，2025） 在生成 <|lvr_start|> 后，把最后一层 hidden state 直接反馈为下一步的输入嵌入。走完预设的 latent 步数后，再通过 <|lvr_end|> 回到文本生成。训练时，SFT 用 VisualCoT 标注框内的视觉嵌入作为目标，以 MSE 对齐 hidden state。论文也在 3B 模型上尝试 GRPO，更新时回放 rollout 中的 latent，使策略损失作用在文本 token 上。这里的视觉监督来自给定区域，推理预算则由预设步数决定。

Mirage：在文字推理中插入隐式视觉思考#

Machine Mental Imagery（CVPR 2026） 提出 Mirage，让模型在文本推理过程中生成隐式视觉 token。需要视觉思考时，它直接将隐藏状态作为后续输入，继续图文交错的推理，无需生成像素图像。

训练先用辅助图像的视觉特征监督隐式 token。具体做法是把 helper image 的 patch embedding 平均池化为与 latent 段等长的一组目标，联合优化视觉特征的余弦相似度和文本预测的交叉熵。第二阶段移除视觉对齐损失，模型用自己生成的 hidden state 继续推理，后续文本损失引导这些表示适应任务。论文还用答案正确性与输出格式作奖励进行 GRPO。

Yang 等，Machine Mental Imagery 图 2，裁自 Zotero 论文附件，采用 CC BY 4.0 许可。 原图图例写的是 L2，正文对训练目标的描述使用余弦相似度。

LIVR 通过注意力掩码控制答案从哪里获得视觉信息，Mirage 则在生成途中把当前 hidden state 反馈为下一步输入。Mirage 的 helper image 和推理轨迹决定了第一阶段能学到哪些视觉线索，平均池化也会压缩局部细节。

ILVR：多次更新 latent，并按当前步骤选择视觉特征#

Interleaved Latent Visual Reasoning with Selective Perceptual Modeling（ACL 2026） 把文字和 latent 段交替排列。每次生成 <|latent_start|> 后，模型用上一步 hidden state 作为输入，连续生成固定长度的一段 latent，再恢复文本生成。这样，在空间布局更新或多步计数时，后续步骤可以使用新的视觉状态。

ILVR 的监督目标随当前步骤变化。冻结的视觉编码器先提取 helper image 的 patch 特征，momentum teacher 根据原图、问题和已有的文本与 latent 历史构建 query，再按余弦相似度选 Top-K 个视觉特征。第一阶段用选中的特征对齐 latent，并训练文本生成。第二阶段只保留文本交叉熵，让模型自己生成 latent 并用于后续推理。每段的预算仍是固定的，论文默认使用 8 个 token。

Dong 等，ILVR 原论文图 2，裁自 Zotero 中的论文 PDF。原文由 ACL Anthology 发布，采用 CC BY 4.0 许可。

论文表 1 中，Qwen2.5-VL-7B 在第二阶段训练后，ILVR 相比同一 backbone 的 Mirage，COMT 平均准确率从 56.0% 提高到 60.8%，VSP 从 76.0% 提高到 81.5%。这组对照给出了方法在两个任务上的差异。要检查这些收益是否依赖模型生成的特定 latent 内容，还需要直接干预推理时的 latent。

显式中间图像：Your VLM May Not Be Thinking with Interleaved Images#

Yang 等的立场论文（ICML 2026） 在 DeepEyes、Pixel-Reasoner 和 Thyme 中移除工具或代码生成的中间图像，保留前面的文本推理。在论文测试的多个 benchmark 上，移除后的表现通常变化很小。作者也用 attention 可视化辅助分析，并在 V* 中遮挡目标物体。遮挡后，三个微调模型的总体准确率仍高于基础模型。

这些实验支持作者对 benchmark 和训练收益来源的质疑。微调后的模型可能更善于利用题目文字或剩余图像上下文。这里操作的是显式中间图像，latent 方法需要单独设计干预。

隐式视觉 token：CapImagine#

Imagination Helps Visual Reasoning, But Not Yet in Latent Space（Li 等，ICML 2026） 把视觉推理拆成「图像与问题 → latent → 答案」，分别检验输入变化能否传到 latent、latent 变化能否传到答案。作者比较了 Monet、LVR 和 Mirage 的 latent，发现不同样本或位置之间经常高度相似。作者把 Monet 的 latent 换成跨样本与位置共享的张量，也把 Mirage 的 latent 换成匹配原始均值和标准差的高斯噪声。在论文报告的 V*、HR-Bench 和 MME-RealWorld-Lite 等设置中，准确率大多只小幅变化。VSP 的实验也有例外：将 Mirage 第二阶段模型的 latent 设为接近零的小值时，输出出现重复，性能显著下降。

Li 等，CapImagine 论文图 2。原图提取自 Zotero 中的 arXiv v3 PDF，采用 CC BY 4.0 许可。

对我来说，这篇文章把问题拆成了两层。latent 里能否读出与任务有关的信息是一层。在原始图像仍可用时，替换 latent 会不会改变答案是另一层。替换实验直接测量的是后者，而且结论受模型、任务和干预方式限制。

论文给出的替代方案 CapImagine 用裁剪、标记、画线等中间图像来构造训练数据，把这些图像揭示的线索写成推理文字。推理时，模型接收原图和问题，在语言空间生成推理过程与答案。它提供了一个对照：训练时从中间图像学习该看哪里，推理时可以用文字表达学到的视觉线索。