教师强迫

概念¶

教师强迫策略是一种在深度学习中(尤其是序列到序列模型训练中)常用的训练方法, 能够加速模型训练并提高收敛效果. 其原理是在序列生成的过程中, 每一步并非使用模型上一时刻的预测结果作为下一时刻的输入, 而是使用该时刻的真实目标输出(即训练数据中的正确值)作为下一步的输入. 通过让模型在每个时间步都接受正确的指导信号, 教师强迫确保模型始终在正确的轨道上学习序列关系.

应用¶

教师强迫策略主要应用于需要逐步生成序列的深度学习任务, 在自然语言处理(NLP)领域尤为常见. 例如, 它被广泛用于训练机器翻译模型的解码器, 文本摘要生成, 对话生成等序列到序列任务, 以及图像字幕生成等应用中. 在这些场景下, 模型在训练阶段通过教师强迫使用真实的上一词(或输出)来预测下一词, 从而更有效地学习输入与输出序列之间的映射关系.

优缺点¶

优点:

训练收敛更快: 训练时始终使用真实数据作为下一步输入, 模型不会被早期不准确的预测所误导, 因此收敛速度更快, 训练效率更高.
减少误差累积, 稳定性更高: 由于每个时间步都有真实正确的输出作为指导, 教师强迫能够防止小错误在序列生成过程中逐步放大, 从而避免误差累积, 使模型的训练过程更加稳定.

缺点:

暴露偏差(Exposure Bias): 在训练过程中模型总是依赖真实输出, 但在推理时只能依赖自己的预测. 训练和测试阶段输入分布的不一致会导致模型在测试时难以应对自身错误的累积, 从而性能下降. 换言之, 模型在训练时从未学会纠正自己的预测失误, 这可能使得生成序列在测试时逐渐偏离合理结果.
对真实数据的依赖: 教师强迫高度依赖高质量的真实目标序列作为指导信号. 如果训练数据有限或存在噪声, 模型可能过度拟合这些真实数据, 而未能学到更普适的生成模式.

注: * 针对上述暴露偏差问题, 研究人员提出了诸如计划采样*(Scheduled Sampling)等改进策略. 在训练初期使用教师强迫, 随后逐渐减少真实输出的介入, 增加模型自身预测作为输入的比例, 以缓解训练和推理阶段的不一致. 这样可以在保持收敛速度的同时, 提高模型在实际生成时的鲁棒性.