1. 默认评估图片
2. 默认 prompt
<image>
请描述这张图中的主要物体和场景。这个 prompt 测的是开放式描述能力。想更细地评估，可以改成目标检测、颜色、数量、空间关系、文字识别、推理式问题等不同类型。
3. Dense 与 MoE 的观察点
README 的评估小结指出：MoE 版本通常描述更丰富，对背景和细节捕捉更好；Dense 版本更简洁，重复表述更少。两者都可能在局部细节上产生不准确描述。
看 grounding
回答里的物体、颜色、数量、位置是否真的能从图片中看见。
看语言能力
回答是否连贯、是否重复、是否把图像信息和常识推理混淆。
4. 建议做的小实验
| 实验 | 改动 | 观察指标 |
|---|---|---|
| 跳过 Pretrain | 直接 train_sft_vlm.py --from_weight llm | 早期 loss 是否抖动，图像描述是否更慢稳定。 |
| Projector only | SFT 也用 --freeze_llm 2 | 回答格式和图像理解是否受限。 |
| 首尾层微调 | 默认 --freeze_llm 1 | 语言能力和视觉能力是否平衡。 |
| MoE | --use_moe 1 | 细节丰富度、重复率、aux_loss。 |
| 中文/英文 prompt | 同一图片切换语言 | 双语训练下输出语言和细节差异。 |
5. 常见问题
找不到视觉编码器
确认 model/siglip2-base-p32-256-ve/ 下有 config.json、model.safetensors、preprocessor_config.json。
CUDA 不可用
先运行 import torch; print(torch.cuda.is_available())，再核对 CUDA、torch 和驱动版本。
权重名不匹配
脚本按 {weight}_{hidden_size}{_moe}.pth 拼路径，例如 sft_vlm_768.pth 或 sft_vlm_768_moe.pth。
WebUI 没有模型
Transformers 格式模型目录需要复制到 scripts/ 下，扫描逻辑才会在下拉菜单中发现它。