西安IT培训学校哪家好,美国上市公司(NASDAQ:TEDU),专注IT职业教育,近万名员工,采用“先学习,就业后付款”的模式,提供优质的java培训,python培训,大数据培训,web前端培训.是专业的IT培训学校.
知识蒸馏是一种在繁琐的模型中提取知识并将其压缩成单一模型的方法,从而将其部署到实际应用中。
知识蒸馏是一种把笨拙的模型(老师)的学习行为转化为更小的模型(学生),在这种情况下,教师产生的输出被用作训练学生的“软目标”。通过运用这种方法,发现他们在MNIST数据集中得到了惊人的结果,并且通过将模型集成中的知识提取到单个模型中可以得到明显的改进。
AI的教父Hinton和他的两位合著者在2015年引入了这个概念,并且它在论文中首先提出了他们关于图像分类任务的知识蒸馏:从神经网络中提炼知识。
如本文所述,知识蒸馏的较简单形式是在具有软目标分布的传递集上训练蒸馏模型。到目前为止,我们应该知道有两个目标用于训练学生模型。一个是正确的标签(硬目标),另一个是从教师网络生成的软标签(软目标)。
所以,目标函数是两个不同目标函数的加权平均值。个目标函数是学生预测与软目标间的交叉熵损失,第二个目标函数是学生输出与正确标签之间的交叉熵损失。同时在论文中还指出,较好的结果往往通过在第二目标函数上使用较低的权重来获得的。