#信息密度 (1)

为什么 AI 生成的语言如此难以理解？

研究比较 14 个语言模型在聊天、编程与议论文中的心理语言学特征，发现前沿模型相对往返翻译改写更常使用低频 n 元组、长依存、堆叠名词、去名词化动词、无关系词宾语从句和非常规生命度搭配。作者提出，面向数学、代码与可验证奖励的后训练可能推动信息压缩；在 Qwen2.5-1.5B-Instruct 上用 GRPO 施加长度惩罚后，模型会自发偏向较短句式，并在部分未训练结构上产生迁移，说明任务正确性并不等同于人类可理解的表达。