基于BERT-Prototypical模型的小样本科技文献分类方法

分享到

【作者】白文清，崔彩霞
【刊名】软件导刊
【作者单位】太原师范学院计算机科学与技术学院
【ISSN】1672-7800
【关键词】科技文献分类小样本学习原型网络 BERT模型不平衡数据
【摘要】由于学科的不断细化和学科间发展速度的不均衡，个别学科可用于分类训练的数据极少，为科技文献分类工作带来了一定困难。为此，针对科技文献长尾问题严重且传统文本分类方法已经无法取得更好分类效果的问题，提出一种基于BERT-Prototypical模型的小样本科技文献分类方法。该模型以迁移学习中的原型网络为基础，首先借助BERT预训练模型深入挖掘科技文献文本间的关系以获得更好的特征表示；然后将编码后的文本特征输入到原型网络中，通过优化原型网络的编码方式和参数设置提高科技文献分类效果。实验结果表明，在5-w...
【文献类型】期刊