近日，实验室逯志兴博士关于大模型可解释性的研究成果被 Pattern Recognition (PR) 录用。PR是人工智能领域的顶级期刊，是中科院一区，CCF推荐B类期刊，影响因子9.1。

论文题目：Geometric insights into the relationship between weight landscape and generalization

中文题目：权重空间与泛化能力关系的几何解释

摘要：本文深入探讨了权重空间的几何结构与深度神经网络（DNN）泛化能力之间的内在联系。我们提出了一种新的框架，将权重空间刻画为一个平行多面体。理论上，我们证明了最小化该平行多面体的体积及其边长方差对于提升模型泛化能力至关重要。研究发现，网络训练会增大该体积和方差，而 L2 正则化能够降低二者，从而改善泛化性能。在实验方面，我们在多种深度神经网络上进行了广泛验证，包括基础预训练模型（如 BERT、GPT-2）以及多类大语言模型（LLMs）。对于大语言模型，我们考察了 LLaMA、Qwen 和 ChatGLM 系列，以及基于 LLaMA 微调得到的模型 Vicuna 和 Chinese LLaMA。此外，我们发现新版 LLaMA 的体积和方差显著小于旧版 LLaMA，这从理论上解释了为什么新版 LLaMA 具有更好的泛化能力。最后，本文为大语言模型的发展提供了理论指导，即在模型设计与优化过程中，应朝着降低权重空间体积和边长方差的方向进行。