竞赛总结:CCL 2021 图文幽默计算

2021 年第三届幽默识别研讨会刚闭幕,本次我们取得了第二名的成绩,并在大会上作报告。本文对参赛者的方法进行汇总,按照排名从低到高的顺序进行介绍。

评测总结

任务介绍

参赛数据统计

评测数据分析

评测结果


方案汇总

报告的顺序按照排名倒序排列。

报告 1. 一种基于预训练模型的多模态幽默识别方法,韩超(云南大学)


模型介绍
文本: electra
图像:vgg

方法

评价

结论

报告 2. 基于 Transformer 编码器的多模态幽默识别方法,李振(哈尔滨工业大学)


报告 3. 一种基于 Bert 模型的幽默识别方法,吴绍武(南方科技大学)


报告 4. 多预训练模型集成的数据增强图文幽默识别,耿源羚(大连理工大学)





请问可以分享下在微调和多模型集成训练时的调参技巧吗?

  • 单个模型:调参方法,先用一个预训练开始,找到一个比较好的参照。然后再去调整,比较注重学习率,可以从极端小开始调整。权重衰减可以调整。设置步数,进行停止。
  • 多个模型:更具经验值投票,手动调整模型投票的权重。

报告 5. 一种基于多模态集成学习的幽默识别方法,陈佳豪(好未来)





报告 6. A Simple Approach for Humor Classification on Memes using Transfer Learning,陈雨涛(北京理工大学)



迁移学习

  • 数据量少
  • 各预训练模型的优异表现

晚期融合

  • 数据集图片存在多种来源,Faster-RCNN/SentiBank 等无法有效提取目标对象。
  • 导致图片的语义信息与文本不在同一空间。


完全相信模型



总结那些有效?

  • 从图片提取文本,会好一些
  • 图片的大小以及后面非同质的问题,对结果影响比较大

参考