清华大学学报(自然科学版)

作者：胡滨, 耿天玉, 邓赓, 段磊

单位：四川大学 计算机学院, 成都 610065

关键词：自然语言处理,生物医学信息学,命名实体识别,知识蒸馏

基金：国家自然科学基金资助项目（61906126，61972268，61572332）

在生物医学文献挖掘领域中，已有的BioBert采用预训练的方式在生物医学命名实体识别（BioNER）任务中表现出优秀的实体识别性能，却存在模型规模过大、速度过慢的缺点。针对BioBert网络模型如何高效压缩问题，该文提出了一种高效生物医学名称实体识别模型，命名为FastBioNER模型。该模型采用动态知识蒸馏方式对BioBert模型进行压缩，首先，通过动态权重函数模拟真实的学习行为，即在模型训练过程中动态调整各部分损失函数的重要程度；其次，采用动态知识蒸馏方式将训练后的BioBert作为教师模型，压缩到一个规模较小的学生模型中；最后，对提出的FastBioNER模型在已公开数据集NCBI疾病、BC5CDR-chem和BC4CHEMD上进行了实验验证。实验结果表明：提出的FastBioNER模型在3个数据集中获得除BioBert外最高F1值分别为88.63%、92.82%和92.60%，并分别以损失1.10%、0.86%、0.15%的F1值为代价，将BioBert的模型大小压缩了39.26%，同时推理时间缩短了46.17%。

来源：2021年第9期

《清华大学学报(自然科学版)》期刊编辑部

查看清华大学学报(自然科学版)杂志2021年第9期