1. MiniMind-V 官方资料
2. 关键外部组件
| 组件 | 链接 | 在项目中的作用 |
|---|---|---|
| MiniMind | GitHub: minimind | 语言模型底座来源。 |
| SigLIP2 视觉编码器 | HF: siglip2-base-p32-256-ve | 冻结的图片特征提取器。 |
| MiniMind-V 数据集 | HF: minimind-v_dataset | 整理后的 parquet 训练数据。 |
| ALLaVA-4V | HF: ALLaVA-4V | README 记录的图文数据来源。 |
3. 推荐论文和项目
LLaVA-1.5
Improved Baselines with Visual Instruction Tuning
两层 MLP projector 是 MiniMind-V README 对齐方案的重要参照。
4. 学习检查清单
- 能解释为什么 256×256 和 P32 会产生 64 个视觉 token。
- 能画出
<image>到<|image_pad|>再到 visual embedding 的路径。 - 能说明 Pretrain 和 SFT 的目标、数据、学习率、冻结策略差异。
- 能在代码里找到 labels 中
-100的生成逻辑。 - 能独立运行
eval_vlm.py，并解释 native PyTorch 与 Transformers 加载路径。 - 能提出一个 ablation 实验，并说清楚要观察哪些指标。