教研室参与学术评测情况：

1.  2016 BioNLP Shared Task评测（简称BioNLP-ST 2016） 

SeeDev-binary task和BB-event task，旨在抽取生物实体之间的复杂关系 在两个任务中我们分别取得了第二名和第七名的优异成绩    http://ir.dlut.edu.cn/news/detail/390

2.  2016 ImageCLEF Medical Task

复合图像探测，DUTIR参赛队获得第一名的成绩，比第二名参赛队结果高出接近2个百分点http://ir.dlut.edu.cn/news/detail/396

3.  2016 首届SMP CUP用户画像技术评测  第二名

用户画像评测http://ir.dlut.edu.cn/news/detail/403

4.  2015 阿里移动推荐算法竞赛 前1%

根据阿里公布的1个月的淘宝用户在线操作数据，预测下一天用户购买的商品。

5.  2015 全国文本倾向性评测COAE

任务一：基于上下文的观点信息识别

准确率：

褒义词准确率，DUTIR第1名，准确率为0.688。

中性词准确率，DUTIR第1名，准确率为0.837。

贬义词准确率，DUTIR第1名，准确率为0.645。

召回率：

褒义词召回率，DUTIR第1名，召回率为0.97。

中性词召回率，DUTIR第3名，召回率为0.645。

中性词召回率，第1名为北京理工大学，召回率为0.686。

贬义词召回率，DUTIR第1名，召回率为0.609.

F值：

褒义词F值，DUTIR第1名，得分为0.699。

中性词F值，DUTIR第1名，得分为0.643。

贬义词F值，DUTIR第1名，得分为0.627。

任务四：垃圾观点句识别

准确率：

准确率，DUTIR第4名，得分为0.911。

准确率，第1名为山东师范大学，得分为0.956。

召回率：

召回率，DUTIR第1名，得分为0.876。

F值：

F1，DUTIR第1名，得分为0.893。

6.  2014 全国文本倾向性评测COAE

任务三：微博情感新词发现与判定

准确率：

情感词正确率，DUTIR第27名，准确率为4.85%。

情感词正确率，第1名为中原工学院，准确率为34.21%。

情感词极性正确率，DUTIR第25名，准确率为3.34%。

情感词极性正确率，第1名为北京信息科技大学，准确率为21.79%。

召回率：

情感词召回率，DUTIR第23名，召回率为5.27%。

情感词召回率，第1名为山西大学，召回率为20.96%。

情感词极性召回率，DUTIR第22名，召回率为3.63%。

情感词极性召回率，第1名为山西大学，召回率为16.83%。

F值：

情感词F值，DUTIR第23名，得分为0.050。

情感词F值，第1名为山西大学，得分为0.207。

情感词极性F值，DUTIR第24名，得分为0.034。

情感词极性F值，第1名为山西大学，得分为0.166。

任务四：微博观点句识别

准确率：

宏平均方面：

准确率，DUTIR第26名，得分为0.877。

准确率第1名为哈工大，得分为0.962。

微平均方面：

准确率，DUTIR第32名，得分为0.835。

准确率，第1名为哈工大，得分为0.962。

召回率：

宏平均方面：

召回率，DUTIR第10名，得分为0.441。

召回率，第1名为哈工大，得分为0.543。

微平均方面：

召回率，DUTIR第9名，得分为0.453。

召回率，第1名为哈工大，得分为0.547。

F值：

宏平均方面：

F1，DUTIR第9名，得分为0.586。

F1，第1名为哈工大，得分为0.678。

微平均方面：

F1，DUTIR第9名，得分为0.587。

F1，第1名为哈工大，得分为0.681。

任务五：微博观点句评价对象识别

准确率：

宏平均方面：

准确率，DUTIR第10名，得分为0.191。

准确率第1名为南京理工大学，得分为0.442。

微平均方面：

准确率，DUTIR第9名，得分为0.183。

准确率，第1名为南京理工大学，得分为0.441。

召回率：

宏平均方面：

召回率，DUTIR第10名，得分为0.068。

召回率，第1名为北京工业大学，得分为0.177。

微平均方面：

召回率，DUTIR第10名，得分为0.07。

召回率，第1名为北京工业大学，得分为0.177。

F值：

宏平均方面：

F1，DUTIR第9名，得分为0.101。

F1，第1名为南京理工大学，得分为0.243。

微平均方面：

F1，DUTIR第9名，得分为0.101。

F1，第1名为南京理工大学，得分为0.239。

7.  2013 全国文本倾向性评测COAE

任务一：基于否定句的句子级倾向性分析

该任务采用的评价指标为accuracy。

宏平均方面：

accuracy，DUTIR第1名，得分为0.615。

accuracy，第1名为DUTIR，得分为0.615。

微平均方面：

accuracy，DUTIR第1名，得分为0.615。

accuracy，第1名为DUTIR，得分为0.615。

任务二：比较句的识别

宏平均方面

准确率，DUTIR第5名，得分为0.962。

准确率，第1名为郑州大学，得分为0.998。

召回率，DUTIR第4名，得分为0.774。

召回率，第1名为北京邮电大学，得分为0.801。

F值，DUTIR第5名，得分为0.858。

F值，第1名为北京邮电大学，得分为0.887

微平均方面

准确率，DUTIR第5名，得分为0.962。

准确率，第1名为郑州大学，得分为0.998。

召回率，DUTIR第4名，得分为0.774。

召回率，第1名为北京邮电大学，得分为0.801。

F值，DUTIR第5名，得分为0.858。

F值，第1名为北京邮电大学，得分为0.887

任务三：微博观点句识别

该任务主要评价指标是F值

宏平均F值，DUTIR第7名，得分为0.26

宏平均F值，第1名为北京邮电大学，得分为0.327

微平均F值，DUTIR第5名，得分为0.29

微平均F值，第1名为北京邮电大学，得分为0.329

任务四：微博观点句评价对象识别

该任务主要评价指标是F值

宏平均F值，DUTIR第1名，得分为0.225

宏平均F值，第1名为DUTIR，得分为0.225

微平均F值，DUTIR第1名，得分为0.223

微平均F值，第1名为DUTIR，得分为0.223

8.  2012 全国文本倾向性评测COAE

任务一：基于否定句的句子级倾向性分析

该任务采用的评价指标为accuracy。

宏平均方面：

accuracy，DUTIR第1名，得分为0.7845。

accuracy，第1名为DUTIR，得分为0.7845。

微平均方面：

accuracy，DUTIR第1名，得分为0.7845。

accuracy，第1名为DUTIR，得分为0.7845。

任务二：比较句的识别

主要的评价指标是accuracy

macro-accuracy ，DUTIR第4名，得分为0.9282

macro-accuracy ，第1名为中国传媒大学，得分为0.9747

micro-accuracy ，DUTIR第4名，得分为0.9282

micro-accuracy ，第1名为中国传媒大学，得分为0.9747

任务三：篇章级倾向性打分

该任务采用的评价指标为accuracy。

汽车领域的结果及排名：

accuracy，DUTIR第3名，得分为0.6766。

accuracy，第1名为中国传媒大学，得分为0.7845。

电子产品领域的结果及排名：

accuracy，DUTIR第4名，得分为0.4184。

accuracy，第1名为中国传媒大学，得分为0.6914。

9.  2011 全国文本倾向性评测COAE

任务一：领域观点词的抽取与极性判断

准确率：

宏平均方面：

准确率@1000，DUTIR第5名，得分为0.6087。

准确率，DUTIR第5名，得分为0.375。

准确率@1000第1名为山西大学，得分为0.6567。

准确率第一名为哈工大社会计算实验室，得分为0.486。

微平均方面：

准确率@1000，DUTIR第5名，得分为0.6087。

准确率，DUTIR第4名，得分为0.375。

准确率@1000第1名为山西大学，得分为0.6567。

准确率第1名为苏州大学，得分为0.3786。

召回率：

宏平均方面：

召回率，DUTIR第2名，得分为0.1133。

召回率，第1名为哈工大深圳，得分为0.1136。

微平均方面：

召回率，DUTIR第2名，得分为0.1133。

召回率，第1名为哈工大深圳，得分为0.1135。

F值：

宏平均方面：

召回率，DUTIR第2名，得分为0.1741。

召回率，第1名为哈工大深圳，得分为0.1744。

微平均方面：

召回率，DUTIR第2名，得分为0.1741。

召回率，第1名为哈工大深圳，得分为0.1744。

任务二：中文观点句抽取

准确率：

宏平均方面：

准确率@1000，DUTIR第6名，得分为0.4117。

准确率，DUTIR第13名，得分为0.3022。

准确率@1000，第1名为哈工大深圳，得分为0.5759。

准确率，第1名为哈工大深圳，得分为0.56。

微平均方面：

准确率@1000，DUTIR第11名，得分为0.3903。

准确率，DUTIR第4名，得分为0.375。

准确率@1000，第1名为哈工大深圳，得分为0.56。

准确率，第1名为哈工大深圳，得分为0.7031。

召回率：

宏平均方面：

召回率，DUTIR第9名，得分为0.4768。

召回率，第1名为杭州电子科技大学，得分为0.9535。

微平均方面：

召回率，DUTIR第9名，得分为0.6126。

召回率，第1名为杭州电子科技大学，得分为0.9493。

F值：

宏平均方面：

召回率，DUTIR第11名，得分为0.1741。

召回率，第1名为哈工大深圳，得分为0.5834。

微平均方面：

召回率，DUTIR第10名，得分为0.4768。

召回率，第1名为哈工大深圳，得分为0.6872。

任务三：评价搭配抽取

准确率：

宏平均方面：

准确率，DUTIR第10名，得分为0.066。

准确率第1名为哈工大智能与机器翻译实验室，得分为0.1339。

微平均方面：

准确率，DUTIR第9名，得分为0.1049。

准确率，第1名为哈工大智能与机器翻译实验室，得分为0.1598。

召回率：

宏平均方面：

召回率，DUTIR第9名，得分为0.0453。

召回率，第1名为苏州大学，得分为0.0817。

微平均方面：

召回率，DUTIR第10名，得分为0.149。

召回率，第1名为苏州大学，得分为0.0688。

F值：

宏平均方面：

召回率，DUTIR第8名，得分为0.05386。

召回率，第1名为苏州大学，得分为0.0916。

微平均方面：

召回率，DUTIR第8名，得分为0.0831。

召回率，第1名为苏州大学，得分为0.1447。

任务四：观点检索

宏平均准确率，DUTIR第5名，得分为0.3123。

宏平均准确率，第1名为北京大学，得分为0.5621。

宏平均召回率，DUTIR第3名，得分为0.0339。

宏平均准确率，第1名为北京邮电大学，得分为0.0406。

宏平均召回率，DUTIR第3名，得分为0.0589。

宏平均准确率，第1名为北京邮电大学，得分为0.0708。

10.  2009 Chemical IR Track 第一名 

http://ir.dlut.edu.cn/news/detail/12

11.  2009 第二届全国文本倾向性评测COAE  取得较好的成绩   

12.  2008 全国搜索引擎和网络挖掘会议（SEWM）的评测

内容信息块提取；主题型网页检索 内容信息块提取第一名，主题型网页检索第二名

13.  2008 第一届全国文本倾向性评测COAE  取得较好的成绩 

14.  2007 TREC BLOG Track 褒贬倾向性识别   

获得了第4名，名列国内参赛队伍之首 

15.  2007 德国主办的INEX的XML检索评测

Ad Hoc三项评测  两项第一名，一项第七名  

16.  2007 全国搜索引擎和网络挖掘会议（SEWM）的评测

网页分类和导航搜索；主题提取，两项第一名（网页分类和导航搜索），一项第三名（主题提取）的好成绩

17.  2006 TREC Genomics  段落检索任务

平均准确率MAP的两项指标Passage MAP和Passage2 MAP排名第五（32个参赛队）

18.  2005 TREC Genomics 分类任务的两个子任务  第二、第三（19个参赛队）