蒸馏是一种通过加热液体并利用不同成分的“沸点差异”来分离和提纯的技术，这种技术在日常生活中随处可见，例如：
- 水的蒸馏：加热海水后，水分蒸发，而盐和杂质留在原地。冷却蒸汽后，即可获得纯净水。
- 酒精的蒸馏：加热葡萄酒后，酒精比水更早蒸发，冷却后即可获得高浓度的酒精
蒸馏的核心思想是提取所需成分并分离不必要的杂质。
知识蒸馏是什么？用蒸馏的比喻来理解
知识蒸馏（Knowledge Distillation）是从大型 AI 模型（教师模型）中提取必要的知识，并将其传递给较小的模型（学生模型） 的技术。
这一过程与物理世界中的蒸馏非常相似：
| 物理蒸馏 | 知识蒸馏 |
| 原料液（混合物） | 大规模 AI 模型（教师模型） |
| 加热（沸腾） | 让 AI 处理数据并生成预测 |
| 蒸发（重要成分被分离） | 提取 AI 关键的知识与推理能力 |
| 冷却（提纯后的液体） | 学生模型学习关键知识，形成高效 AI |
例如，在酒精蒸馏过程中，低沸点的酒精会先蒸发，而不需要的杂质会留在原液中。同样，在知识蒸馏过程中，AI 的学习数据和推理结果会被提炼，去除冗余信息，只留下关键知识供学生模型学习。
硬标签 vs. 软标签
在知识蒸馏中，有两种不同的学习方式：
- 硬标签（Hard Target）：
- 例如，在蒸馏酒精时，直接把提取出的液体标记为“100%酒精”。
- 在 AI 训练中，硬标签意味着模型只学习“这是猫！”这样绝对的分类，不考虑可能的模糊性。
- 软标签（Soft Target）：
- 例如，记录酒精的成分：“90% 酒精、8% 水、2% 其他微量成分”。
- 在 AI 训练中，软标签意味着模型学习到“这张图片 90% 可能是猫，8% 可能是狗，2% 可能是其他动物”。
相比之下，软标签可以让 AI 具备更灵活的判断能力，使其在处理复杂任务时更加智能。
通过这个比喻，我们可以更直观地理解知识蒸馏与物理蒸馏的相似性。
