教研室参与学术评测情况:

1.  2016 BioNLP Shared Task评测(简称BioNLP-ST 2016 

SeeDev-binary taskBB-event task,旨在抽取生物实体之间的复杂关系 在两个任务中我们分别取得了第二名和第七名的优异成绩    http://ir.dlut.edu.cn/news/detail/390

2.  2016 ImageCLEF Medical Task

复合图像探测,DUTIR参赛队获得第一名的成绩,比第二名参赛队结果高出接近2个百分点http://ir.dlut.edu.cn/news/detail/396

3.  2016 首届SMP CUP用户画像技术评测  第二名

用户画像评测http://ir.dlut.edu.cn/news/detail/403

4.  2015 阿里移动推荐算法竞赛 1%

根据阿里公布的1个月的淘宝用户在线操作数据,预测下一天用户购买的商品。

5.  2015 全国文本倾向性评测COAE

任务一:基于上下文的观点信息识别

准确率:

褒义词准确率,DUTIR1名,准确率为0.688

中性词准确率,DUTIR1名,准确率为0.837

贬义词准确率,DUTIR1名,准确率为0.645

召回率:

褒义词召回率,DUTIR1名,召回率为0.97

中性词召回率,DUTIR3名,召回率为0.645

中性词召回率,第1名为北京理工大学,召回率为0.686

贬义词召回率,DUTIR1名,召回率为0.609.

F值:

褒义词F值,DUTIR1名,得分为0.699

中性词F值,DUTIR1名,得分为0.643

贬义词F值,DUTIR1名,得分为0.627

任务四:垃圾观点句识别

准确率:

准确率,DUTIR4名,得分为0.911

准确率,第1名为山东师范大学,得分为0.956

召回率:

召回率,DUTIR1名,得分为0.876

F值:

F1DUTIR1名,得分为0.893

6.  2014 全国文本倾向性评测COAE

任务三:微博情感新词发现与判定

准确率:

情感词正确率,DUTIR27名,准确率为4.85%

情感词正确率,第1名为中原工学院,准确率为34.21%

情感词极性正确率,DUTIR25名,准确率为3.34%

情感词极性正确率,第1名为北京信息科技大学,准确率为21.79%

召回率:

情感词召回率,DUTIR23名,召回率为5.27%

情感词召回率,第1名为山西大学,召回率为20.96%

情感词极性召回率,DUTIR22名,召回率为3.63%

情感词极性召回率,第1名为山西大学,召回率为16.83%

F值:

情感词F值,DUTIR23名,得分为0.050

情感词F值,第1名为山西大学,得分为0.207

情感词极性F值,DUTIR24名,得分为0.034

情感词极性F值,第1名为山西大学,得分为0.166

任务四:微博观点句识别

准确率:

宏平均方面:

准确率,DUTIR26名,得分为0.877

准确率第1名为哈工大,得分为0.962

微平均方面:

准确率,DUTIR32名,得分为0.835

准确率,第1名为哈工大,得分为0.962

召回率:

宏平均方面:

召回率,DUTIR10名,得分为0.441

召回率,第1名为哈工大,得分为0.543

微平均方面:

召回率,DUTIR9名,得分为0.453

召回率,第1名为哈工大,得分为0.547

F值:

宏平均方面:

F1DUTIR9名,得分为0.586

F1,第1名为哈工大,得分为0.678

微平均方面:

F1DUTIR9名,得分为0.587

F1,第1名为哈工大,得分为0.681

任务五:微博观点句评价对象识别

准确率:

宏平均方面:

准确率,DUTIR10名,得分为0.191

准确率第1名为南京理工大学,得分为0.442

微平均方面:

准确率,DUTIR9名,得分为0.183

准确率,第1名为南京理工大学,得分为0.441

召回率:

宏平均方面:

召回率,DUTIR10名,得分为0.068

召回率,第1名为北京工业大学,得分为0.177

微平均方面:

召回率,DUTIR10名,得分为0.07

召回率,第1名为北京工业大学,得分为0.177

F值:

宏平均方面:

F1DUTIR9名,得分为0.101

F1,第1名为南京理工大学,得分为0.243

微平均方面:

F1DUTIR9名,得分为0.101

F1,第1名为南京理工大学,得分为0.239

7.  2013 全国文本倾向性评测COAE

任务一:基于否定句的句子级倾向性分析

该任务采用的评价指标为accuracy

宏平均方面:

accuracyDUTIR1名,得分为0.615

accuracy,第1名为DUTIR,得分为0.615

微平均方面:

accuracyDUTIR1名,得分为0.615

accuracy,第1名为DUTIR,得分为0.615

任务二:比较句的识别

宏平均方面

准确率,DUTIR5名,得分为0.962

准确率,第1名为郑州大学,得分为0.998

召回率,DUTIR4名,得分为0.774

召回率,第1名为北京邮电大学,得分为0.801

F值,DUTIR5名,得分为0.858

F值,第1名为北京邮电大学,得分为0.887

微平均方面

准确率,DUTIR5名,得分为0.962

准确率,第1名为郑州大学,得分为0.998

召回率,DUTIR4名,得分为0.774

召回率,第1名为北京邮电大学,得分为0.801

F值,DUTIR5名,得分为0.858

F值,第1名为北京邮电大学,得分为0.887

任务三:微博观点句识别

该任务主要评价指标是F

宏平均F值,DUTIR7名,得分为0.26

宏平均F值,第1名为北京邮电大学,得分为0.327

微平均F值,DUTIR5名,得分为0.29

微平均F值,第1名为北京邮电大学,得分为0.329

任务四:微博观点句评价对象识别

该任务主要评价指标是F

宏平均F值,DUTIR1名,得分为0.225

宏平均F值,第1名为DUTIR,得分为0.225

微平均F值,DUTIR1名,得分为0.223

微平均F值,第1名为DUTIR,得分为0.223

8.  2012 全国文本倾向性评测COAE

任务一:基于否定句的句子级倾向性分析

该任务采用的评价指标为accuracy

宏平均方面:

accuracyDUTIR1名,得分为0.7845

accuracy,第1名为DUTIR,得分为0.7845

微平均方面:

accuracyDUTIR1名,得分为0.7845

accuracy,第1名为DUTIR,得分为0.7845

任务二:比较句的识别

主要的评价指标是accuracy

macro-accuracy DUTIR4名,得分为0.9282

macro-accuracy ,第1名为中国传媒大学,得分为0.9747

micro-accuracy DUTIR4名,得分为0.9282

micro-accuracy ,第1名为中国传媒大学,得分为0.9747

任务三:篇章级倾向性打分

该任务采用的评价指标为accuracy

汽车领域的结果及排名:

accuracyDUTIR3名,得分为0.6766

accuracy,第1名为中国传媒大学,得分为0.7845

电子产品领域的结果及排名:

accuracyDUTIR4名,得分为0.4184

accuracy,第1名为中国传媒大学,得分为0.6914

9.  2011 全国文本倾向性评测COAE

任务一:领域观点词的抽取与极性判断

准确率:

宏平均方面:

准确率@1000DUTIR5名,得分为0.6087

准确率,DUTIR5名,得分为0.375

准确率@10001名为山西大学,得分为0.6567

准确率第一名为哈工大社会计算实验室,得分为0.486

微平均方面:

准确率@1000DUTIR5名,得分为0.6087

准确率,DUTIR4名,得分为0.375

准确率@10001名为山西大学,得分为0.6567

准确率第1名为苏州大学,得分为0.3786

召回率:

宏平均方面:

召回率,DUTIR2名,得分为0.1133

召回率,第1名为哈工大深圳,得分为0.1136

微平均方面:

召回率,DUTIR2名,得分为0.1133

召回率,第1名为哈工大深圳,得分为0.1135

F值:

宏平均方面:

召回率,DUTIR2名,得分为0.1741

召回率,第1名为哈工大深圳,得分为0.1744

微平均方面:

召回率,DUTIR2名,得分为0.1741

召回率,第1名为哈工大深圳,得分为0.1744

任务二:中文观点句抽取

准确率:

宏平均方面:

准确率@1000DUTIR6名,得分为0.4117

准确率,DUTIR13名,得分为0.3022

准确率@1000,第1名为哈工大深圳,得分为0.5759

准确率,第1名为哈工大深圳,得分为0.56

微平均方面:

准确率@1000DUTIR11名,得分为0.3903

准确率,DUTIR4名,得分为0.375

准确率@1000,第1名为哈工大深圳,得分为0.56

准确率,第1名为哈工大深圳,得分为0.7031

召回率:

宏平均方面:

召回率,DUTIR9名,得分为0.4768

召回率,第1名为杭州电子科技大学,得分为0.9535

微平均方面:

召回率,DUTIR9名,得分为0.6126

召回率,第1名为杭州电子科技大学,得分为0.9493

F值:

宏平均方面:

召回率,DUTIR11名,得分为0.1741

召回率,第1名为哈工大深圳,得分为0.5834

微平均方面:

召回率,DUTIR10名,得分为0.4768

召回率,第1名为哈工大深圳,得分为0.6872

任务三:评价搭配抽取

准确率:

宏平均方面:

准确率,DUTIR10名,得分为0.066

准确率第1名为哈工大智能与机器翻译实验室,得分为0.1339

微平均方面:

准确率,DUTIR9名,得分为0.1049

准确率,第1名为哈工大智能与机器翻译实验室,得分为0.1598

召回率:

宏平均方面:

召回率,DUTIR9名,得分为0.0453

召回率,第1名为苏州大学,得分为0.0817

微平均方面:

召回率,DUTIR10名,得分为0.149

召回率,第1名为苏州大学,得分为0.0688

F值:

宏平均方面:

召回率,DUTIR8名,得分为0.05386

召回率,第1名为苏州大学,得分为0.0916

微平均方面:

召回率,DUTIR8名,得分为0.0831

召回率,第1名为苏州大学,得分为0.1447

任务四:观点检索

宏平均准确率,DUTIR5名,得分为0.3123

宏平均准确率,第1名为北京大学,得分为0.5621

宏平均召回率,DUTIR3名,得分为0.0339

宏平均准确率,第1名为北京邮电大学,得分为0.0406

宏平均召回率,DUTIR3名,得分为0.0589

宏平均准确率,第1名为北京邮电大学,得分为0.0708

10.  2009 Chemical IR Track 第一名 

http://ir.dlut.edu.cn/news/detail/12

11.  2009 第二届全国文本倾向性评测COAE  取得较好的成绩   

12.  2008 全国搜索引擎和网络挖掘会议(SEWM)的评测

内容信息块提取;主题型网页检索 内容信息块提取第一名,主题型网页检索第二名

13.  2008 第一届全国文本倾向性评测COAE  取得较好的成绩 

14.  2007 TREC BLOG Track 褒贬倾向性识别   

获得了第4名,名列国内参赛队伍之首 

15.  2007 德国主办的INEXXML检索评测

Ad Hoc三项评测  两项第一名,一项第七名  

16.  2007 全国搜索引擎和网络挖掘会议(SEWM)的评测

网页分类和导航搜索;主题提取,两项第一名(网页分类和导航搜索),一项第三名(主题提取)的好成绩

17.  2006 TREC Genomics  段落检索任务

平均准确率MAP的两项指标Passage MAPPassage2 MAP排名第五(32个参赛队)

18.  2005 TREC Genomics 分类任务的两个子任务  第二、第三(19个参赛队)