基于多教师知识蒸馏的新闻文本分类方法

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1 论文标题：基于多教师知识蒸馏的新闻文本分类方法

2 作者信息：杜潇鉴*, 吕卫东#, 孙钰华：兰州交通大学数理学院，甘肃 兰州

3 出处和链接：杜潇鉴, 吕卫东, 孙钰华. 基于多教师知识蒸馏的新闻文本分类方法[J]. 计算机科学与应用, 2023, 13(8): 1515-1526. https://doi.org/10.12677/CSA.2023.138150

4 摘要：从传统的文本分类到基于深度学习下的文本分类，再到BERT模型的提出，使得其以及其变种模型逐渐成为自然语言处理中的主流模型，但其需要占用和花费大量内存和计算机资源。根据师生网络结构分成同构和异构两种情况，并提出了不同的多教师蒸馏策略。在THUCNews数据集上做实验，发现即使有教师表现较差，也能使得学生模型分类效果分别提升3.26%和3.30%，且性能损失分别为0.79%和0.78%，说明接近教师模型的分类效果；同时参数量只是教师模型的2.05%和2.08%，实现了很好的模型压缩。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：兰州交通大学 计算机科学 自然语言 深度学习 语言处理