MiniMind 系列学习教程

Course

MiniMind 学习课程站

训练流程、数据样例、实验曲线、资源图谱和实践入口。

打开课程站 Vision

MiniMind-V 视觉语言教程

VLM 架构、图文数据、训练复现、推理部署和评估实验。

打开 MiniMind-V Omni

MiniMind-O Omni 教程

语音视觉输入、Thinker/Talker、数据训练、流式推理和 WebUI。

打开 MiniMind-O

01

模型架构总览

MiniMind 大模型神经网络结构与算法原理教程

阅读章节 02

基础组件

基础组件 - Embedding & RMSNorm & RoPE

阅读章节 03

注意力机制

注意力机制 Attention

阅读章节 04

前馈网络 MLP & MoE

前馈网络 MLP & MoE

阅读章节 05

Transformer Block

Transformer Block 与整体前向

阅读章节 06

Pretrain & SFT

训练算法 - Pretrain & SFT

阅读章节 07

DPO 偏好优化

训练算法 - DPO 偏好优化

阅读章节 08

PPO & GRPO

训练算法 - PPO & GRPO 强化学习

阅读章节 09

LoRA 低秩适配

LoRA 低秩适配

阅读章节 10

推理生成算法

推理生成算法

阅读章节

Python

02-basic-components-demo.py

对应第 2 章：基础组件

查看示例 Python

03-attention-demo.py

对应第 3 章：注意力机制

查看示例 Python

04-mlp-moe-demo.py

对应第 4 章：前馈网络 MLP & MoE

查看示例 Python

05-transformer-block-demo.py

对应第 5 章：Transformer Block

查看示例 Python

06-train-pretrain-sft-demo.py

对应第 6 章：Pretrain & SFT

查看示例 Python

07-dpo-demo.py

对应第 7 章：DPO 偏好优化

查看示例 Python

08-rl-demo.py

对应第 8 章：PPO & GRPO

查看示例 Python

09-lora-demo.py

对应第 9 章：LoRA 低秩适配

查看示例 Python

10-generation-demo.py

对应第 10 章：推理生成算法

查看示例