教研室参与学术评测情况:
1. 2017 BioCreative VI评测
在Track4中(Mining protein interactions and mutations for precision medicine)的生物医学文本分类任务(Document Triage Task)中取得了第三名的优异成绩。
http://ir.dlut.edu.cn/news/detail/455
2. 2017 BioCreative V.5 评测
CEMP(Chemical Entity Mention recognition)化学物实体识别任务 第一名
GPRO(Gene and Protein Related Object recognition)基因蛋白实体识别任务 第一名
http://ir.dlut.edu.cn/news/detail/427
3. 2016 BioNLP Shared Task评测(简称BioNLP-ST 2016)
SeeDev-binary task和BB-event task,旨在抽取生物实体之间的复杂关系 在两个任务中我们分别取得了第二名和第七名的优异成绩 http://ir.dlut.edu.cn/news/detail/390
4. 2016 ImageCLEF Medical Task
复合图像探测,DUTIR参赛队获得第一名的成绩,比第二名参赛队结果高出接近2个百分点http://ir.dlut.edu.cn/news/detail/396
5. 2016 首届SMP CUP用户画像技术评测 第二名
用户画像评测http://ir.dlut.edu.cn/news/detail/403
6. 2015 阿里移动推荐算法竞赛 前1%
根据阿里公布的1个月的淘宝用户在线操作数据,预测下一天用户购买的商品。
7. 2015 全国文本倾向性评测COAE
任务一:基于上下文的观点信息识别
准确率:
褒义词准确率,DUTIR第1名,准确率为0.688。
中性词准确率,DUTIR第1名,准确率为0.837。
贬义词准确率,DUTIR第1名,准确率为0.645。
召回率:
褒义词召回率,DUTIR第1名,召回率为0.97。
中性词召回率,DUTIR第3名,召回率为0.645。
中性词召回率,第1名为北京理工大学,召回率为0.686。
贬义词召回率,DUTIR第1名,召回率为0.609.
F值:
褒义词F值,DUTIR第1名,得分为0.699。
中性词F值,DUTIR第1名,得分为0.643。
贬义词F值,DUTIR第1名,得分为0.627。
任务四:垃圾观点句识别
准确率:
准确率,DUTIR第4名,得分为0.911。
准确率,第1名为山东师范大学,得分为0.956。
召回率:
召回率,DUTIR第1名,得分为0.876。
F值:
F1,DUTIR第1名,得分为0.893。
8. 2014 全国文本倾向性评测COAE
任务三:微博情感新词发现与判定
准确率:
情感词正确率,DUTIR第27名,准确率为4.85%。
情感词正确率,第1名为中原工学院,准确率为34.21%。
情感词极性正确率,DUTIR第25名,准确率为3.34%。
情感词极性正确率,第1名为北京信息科技大学,准确率为21.79%。
召回率:
情感词召回率,DUTIR第23名,召回率为5.27%。
情感词召回率,第1名为山西大学,召回率为20.96%。
情感词极性召回率,DUTIR第22名,召回率为3.63%。
情感词极性召回率,第1名为山西大学,召回率为16.83%。
F值:
情感词F值,DUTIR第23名,得分为0.050。
情感词F值,第1名为山西大学,得分为0.207。
情感词极性F值,DUTIR第24名,得分为0.034。
情感词极性F值,第1名为山西大学,得分为0.166。
任务四:微博观点句识别
准确率:
宏平均方面:
准确率,DUTIR第26名,得分为0.877。
准确率第1名为哈工大,得分为0.962。
微平均方面:
准确率,DUTIR第32名,得分为0.835。
准确率,第1名为哈工大,得分为0.962。
召回率:
宏平均方面:
召回率,DUTIR第10名,得分为0.441。
召回率,第1名为哈工大,得分为0.543。
微平均方面:
召回率,DUTIR第9名,得分为0.453。
召回率,第1名为哈工大,得分为0.547。
F值:
宏平均方面:
F1,DUTIR第9名,得分为0.586。
F1,第1名为哈工大,得分为0.678。
微平均方面:
F1,DUTIR第9名,得分为0.587。
F1,第1名为哈工大,得分为0.681。
任务五:微博观点句评价对象识别
准确率:
宏平均方面:
准确率,DUTIR第10名,得分为0.191。
准确率第1名为南京理工大学,得分为0.442。
微平均方面:
准确率,DUTIR第9名,得分为0.183。
准确率,第1名为南京理工大学,得分为0.441。
召回率:
宏平均方面:
召回率,DUTIR第10名,得分为0.068。
召回率,第1名为北京工业大学,得分为0.177。
微平均方面:
召回率,DUTIR第10名,得分为0.07。
召回率,第1名为北京工业大学,得分为0.177。
F值:
宏平均方面:
F1,DUTIR第9名,得分为0.101。
F1,第1名为南京理工大学,得分为0.243。
微平均方面:
F1,DUTIR第9名,得分为0.101。
F1,第1名为南京理工大学,得分为0.239。
9. 2013 全国文本倾向性评测COAE
任务一:基于否定句的句子级倾向性分析
该任务采用的评价指标为accuracy。
宏平均方面:
accuracy,DUTIR第1名,得分为0.615。
accuracy,第1名为DUTIR,得分为0.615。
微平均方面:
accuracy,DUTIR第1名,得分为0.615。
accuracy,第1名为DUTIR,得分为0.615。
任务二:比较句的识别
宏平均方面
准确率,DUTIR第5名,得分为0.962。
准确率,第1名为郑州大学,得分为0.998。
召回率,DUTIR第4名,得分为0.774。
召回率,第1名为北京邮电大学,得分为0.801。
F值,DUTIR第5名,得分为0.858。
F值,第1名为北京邮电大学,得分为0.887
微平均方面
准确率,DUTIR第5名,得分为0.962。
准确率,第1名为郑州大学,得分为0.998。
召回率,DUTIR第4名,得分为0.774。
召回率,第1名为北京邮电大学,得分为0.801。
F值,DUTIR第5名,得分为0.858。
F值,第1名为北京邮电大学,得分为0.887
任务三:微博观点句识别
该任务主要评价指标是F值
宏平均F值,DUTIR第7名,得分为0.26
宏平均F值,第1名为北京邮电大学,得分为0.327
微平均F值,DUTIR第5名,得分为0.29
微平均F值,第1名为北京邮电大学,得分为0.329
任务四:微博观点句评价对象识别
该任务主要评价指标是F值
宏平均F值,DUTIR第1名,得分为0.225
宏平均F值,第1名为DUTIR,得分为0.225
微平均F值,DUTIR第1名,得分为0.223
微平均F值,第1名为DUTIR,得分为0.223
10. 2012 全国文本倾向性评测COAE
任务一:基于否定句的句子级倾向性分析
该任务采用的评价指标为accuracy。
宏平均方面:
accuracy,DUTIR第1名,得分为0.7845。
accuracy,第1名为DUTIR,得分为0.7845。
微平均方面:
accuracy,DUTIR第1名,得分为0.7845。
accuracy,第1名为DUTIR,得分为0.7845。
任务二:比较句的识别
主要的评价指标是accuracy
macro-accuracy ,DUTIR第4名,得分为0.9282
macro-accuracy ,第1名为中国传媒大学,得分为0.9747
micro-accuracy ,DUTIR第4名,得分为0.9282
micro-accuracy ,第1名为中国传媒大学,得分为0.9747
该任务采用的评价指标为accuracy。
汽车领域的结果及排名:
accuracy,DUTIR第3名,得分为0.6766。
accuracy,第1名为中国传媒大学,得分为0.7845。
电子产品领域的结果及排名:
accuracy,DUTIR第4名,得分为0.4184。
accuracy,第1名为中国传媒大学,得分为0.6914。
11. 2011 全国文本倾向性评测COAE
任务一:领域观点词的抽取与极性判断
准确率:
宏平均方面:
准确率@1000,DUTIR第5名,得分为0.6087。
准确率,DUTIR第5名,得分为0.375。
准确率@1000第1名为山西大学,得分为0.6567。
准确率第一名为哈工大社会计算实验室,得分为0.486。
微平均方面:
准确率@1000,DUTIR第5名,得分为0.6087。
准确率,DUTIR第4名,得分为0.375。
准确率@1000第1名为山西大学,得分为0.6567。
准确率第1名为苏州大学,得分为0.3786。
召回率:
宏平均方面:
召回率,DUTIR第2名,得分为0.1133。
召回率,第1名为哈工大深圳,得分为0.1136。
微平均方面:
召回率,DUTIR第2名,得分为0.1133。
召回率,第1名为哈工大深圳,得分为0.1135。
F值:
宏平均方面:
召回率,DUTIR第2名,得分为0.1741。
召回率,第1名为哈工大深圳,得分为0.1744。
微平均方面:
召回率,DUTIR第2名,得分为0.1741。
召回率,第1名为哈工大深圳,得分为0.1744。
任务二:中文观点句抽取
准确率:
宏平均方面:
准确率@1000,DUTIR第6名,得分为0.4117。
准确率,DUTIR第13名,得分为0.3022。
准确率@1000,第1名为哈工大深圳,得分为0.5759。
准确率,第1名为哈工大深圳,得分为0.56。
微平均方面:
准确率@1000,DUTIR第11名,得分为0.3903。
准确率,DUTIR第4名,得分为0.375。
准确率@1000,第1名为哈工大深圳,得分为0.56。
准确率,第1名为哈工大深圳,得分为0.7031。
召回率:
宏平均方面:
召回率,DUTIR第9名,得分为0.4768。
召回率,第1名为杭州电子科技大学,得分为0.9535。
微平均方面:
召回率,DUTIR第9名,得分为0.6126。
召回率,第1名为杭州电子科技大学,得分为0.9493。
F值:
宏平均方面:
召回率,DUTIR第11名,得分为0.1741。
召回率,第1名为哈工大深圳,得分为0.5834。
微平均方面:
召回率,DUTIR第10名,得分为0.4768。
召回率,第1名为哈工大深圳,得分为0.6872。
任务三:评价搭配抽取
准确率:
宏平均方面:
准确率,DUTIR第10名,得分为0.066。
准确率第1名为哈工大智能与机器翻译实验室,得分为0.1339。
微平均方面:
准确率,DUTIR第9名,得分为0.1049。
准确率,第1名为哈工大智能与机器翻译实验室,得分为0.1598。
召回率:
宏平均方面:
召回率,DUTIR第9名,得分为0.0453。
召回率,第1名为苏州大学,得分为0.0817。
微平均方面:
召回率,DUTIR第10名,得分为0.149。
召回率,第1名为苏州大学,得分为0.0688。
F值:
宏平均方面:
召回率,DUTIR第8名,得分为0.05386。
召回率,第1名为苏州大学,得分为0.0916。
微平均方面:
召回率,DUTIR第8名,得分为0.0831。
召回率,第1名为苏州大学,得分为0.1447。
任务四:观点检索
宏平均准确率,DUTIR第5名,得分为0.3123。
宏平均准确率,第1名为北京大学,得分为0.5621。
宏平均召回率,DUTIR第3名,得分为0.0339。
宏平均准确率,第1名为北京邮电大学,得分为0.0406。
宏平均召回率,DUTIR第3名,得分为0.0589。
宏平均准确率,第1名为北京邮电大学,得分为0.0708。
12. 2009 Chemical IR Track 第一名
http://ir.dlut.edu.cn/news/detail/12
13. 2009 第二届全国文本倾向性评测COAE 取得较好的成绩
14. 2008 全国搜索引擎和网络挖掘会议(SEWM)的评测
内容信息块提取;主题型网页检索 内容信息块提取第一名,主题型网页检索第二名
15. 2008 第一届全国文本倾向性评测COAE 取得较好的成绩
16. 2007 TREC BLOG Track 褒贬倾向性识别
获得了第4名,名列国内参赛队伍之首
17. 2007 德国主办的INEX的XML检索评测
Ad Hoc三项评测 两项第一名,一项第七名
18. 2007 全国搜索引擎和网络挖掘会议(SEWM)的评测
网页分类和导航搜索;主题提取,两项第一名(网页分类和导航搜索),一项第三名(主题提取)的好成绩
19. 2006 TREC Genomics 段落检索任务
平均准确率MAP的两项指标Passage MAP和Passage2 MAP排名第五(32个参赛队)
20. 2005 TREC Genomics 分类任务的两个子任务 第二、第三(19个参赛队)