近日，实验室博士生杨森淇关于题画诗生成的研究成果被国际知名期刊《Expert Systems with Applications》（ESWA）正式录用。ESWA是人工智能领域具有重要影响力的国际学术期刊，属于中科院一区Top期刊，影响因子为9.4。

论文题目：Pictorial Poetry Generation: A Benchmark Dataset and Feedback Framework for Cross-Modal Alignment

中文题目：题画诗生成：面向跨模态对齐的基准数据集与反馈框架

摘要： 题画诗生成旨在将中国画中的视觉元素、场景构图与艺术意境转化为具有文学表达力的诗歌，是视觉理解与语言生成相结合的典型跨模态任务。随着多模态大语言模型的发展，利用模型理解绘画内容并生成诗歌成为新的研究方向。然而，现有模型在生成过程中容易出现视觉元素幻觉、意境表达偏离以及诗歌格式不规范等问题。同时，现有中国画数据集存在标注信息不足、样本覆盖范围有限等局限，难以有效支撑绘画与诗歌之间的跨模态对齐研究。针对上述问题，我们构建了题画诗生成基准数据集CNP2P，包含来自五个历史时期、5800位画家的6484条标注样本，涵盖画作标题、作者、朝代、主要元素及艺术意境等信息。在此基础上，提出了四维诗歌反馈直接偏好优化框架FPDPO，从元素相关性、艺术意境、修辞手法和诗歌格式四个维度对生成结果进行评价，并将多维反馈转化为偏好数据，通过直接偏好优化提升模型的跨模态对齐能力。在16个多模态大语言模型及多种反馈优化方法上的对比实验表明，该方法能够有效提升生成诗歌与原始绘画之间的一致性，并实现100%的诗歌格式合规率。进一步的消融实验验证了不同反馈维度对诗歌生成质量的作用，为多模态大语言模型在艺术内容理解与文学创作中的应用提供了新的研究思路。