MiniMind-V 学习教程

学习路线

把图像看成另一种 token 流：视觉编码器负责读图，Projector 负责翻译，LLM 继续做下一个 token 预测。

读基础知识

从 VLMDataset 到 MiniMindVLM.forward，看清视觉特征如何替换 64 个 <|image_pad|> 占位符。

看模型架构

下载 SigLIP2、LLM 权重与 parquet 数据，选择直接 SFT 或 Pretrain + SFT，再用评估图片观察 dense 与 MoE 差异。

看训练复现

MiniMind-V 在 MiniMind 语言模型上增加冻结的视觉编码器和 MLP Projection，把图像 patch token 对齐到文本 token 空间。

LLM、VLM、token、embedding、ViT patch、SigLIP2、Projector、SFT、MoE、DDP、bf16、断点续训。

下载权重与数据、预览 parquet、启动命令行推理、运行 Gradio WebUI、选择冻结策略、读训练日志和 loss 曲线。