PAPER DEEP DIVE
为什么 AI 生成的语言如此难以理解？
研究比较 14 个语言模型在聊天、编程与议论文中的心理语言学特征，发现前沿模型相对往返翻译改写更常使用低频 n 元组、长依存、堆叠名词、去名词化动词、无关系词宾语从句和非常规生命度搭配。作者提出，面向数学、代码与可验证奖励的后训练可能推动信息压缩；在 Qwen2.5-1.5B-Instruct 上用 GRPO 施加长度惩罚后，模型会自发偏向较短句式，并在部分未训练结构上产生迁移，说明任务正确性并不等同于人类可理解的表达。
作者：Thomas Hikaru Clark、Matias B. Martin、Kyle Mahowald
论文：arXiv:2610.29162v1，2026 年 10 月 21 日，计算语言学与人工智能方向。
代码状态：本轮根据论文、作者主页与公开代码搜索未找到作者发布的可复现实验仓库；论文中的数据处理、提示词、奖励定义和训练配置披露较完整，但端到端复现仍需自行重建采集框架。
一句话总结
这篇论文用心理语言学指标和一次长度惩罚强化学习实验，说明现代语言模型在追求信息密度与任务正确率时，可能系统性地选择更短、更压缩、也更难由人即时解析的表达。
研究背景与核心问题
读者常有一个直觉：模型生成的句子语法上未必错误，信息也可能正确，却比自然交谈更像一份压缩过度的内部备忘录。论文把这个直觉转成两个可检验假设。第一，前沿与近前沿模型会过量使用已知会增加人类加工负担的语言特征。第二，数学、代码、推理和可验证奖励驱动的后训练，会把模型推向信息密度优先而不是人际理解优先的分布。
这一区分很重要。预训练模型从大量人类文本中学习语言，而人类语言在长期演化中受到工作记忆、增量解析和交际成功率的约束。人类说话者会根据上下文决定是否保留可选的“that”，是否使用被动句，是否把两个名词压成一个复合结构。模型后训练却可能只奖励最终答案是否正确，不直接奖励解释是否容易被人跟上。只要多种句法实现都能通过验证器，模型就可以稳定选择更短的那一种。
论文没有把“难懂”简单等同于“句子长”。相反，它选择了一组与阅读时间、句法重新分析和记忆负担有关的构造，包括低频 n 元组、长依存、宾语关系从句、无关系词宾语从句、堆叠名词、去名词化动词，以及无生命主语搭配典型有生命主语的主动词。这样的设计让“信息压缩”成为连接多项语言现象的候选机制，而不是单点修辞判断。
作者还把问题放在语言演化视角下：如果一种语言被大量模型用于写代码、做数学和生成计划，而人类理解成本没有进入奖励函数，那么模型可能形成一种对模型内部计算高效、但对人机沟通不友好的“方言”。这不是说模型故意为难读者，而是说训练目标只覆盖了正确性，没有覆盖可监控性和可理解性。
从语言特征到可检验指标
低频 n 元组与困惑度衡量局部可预测性。若一个系统倾向删去冗余、可预测的词，它的文本在独立语言模型下会更“意外”，同时更常出现参考语料里没有见过的二元组。论文因此统计未出现在参考语料中的相邻词对，并用三元语言模型计算困惑度。
依存长度衡量句法成分从中心词到依存词的线性距离。人类处理长距离关系需要维持更多未完成结构，因此长依存常与更高记忆负担相关。宾语关系从句则改变了典型的主语先行顺序，尤其在没有关系词时更依赖读者自行恢复句法角色。堆叠名词把多个名词连续压成修饰链，可能制造括号歧义。去名词化动词与无生命主语搭配主动词都会要求读者进行额外的语义重分析。
论文的巧妙之处在于所有这些指标都指向同一竞争：语义内容保持不变时，模型是否会选择更紧凑但更不透明的形式。为了区分“内容本身难”与“模型选择的表达方式难”，作者采用往返翻译作平行改写。每条英文句子先由 NLLB-200 翻成日文，再独立翻回英文。翻译通常会把罕见结构归一到更常见的表达，因此如果某个特征在往返翻译后显著减少，就说明原句本来存在一条更常规的同义表达路径。
往返翻译不是完美的意义保持器，它会引入翻译腔、词汇替换和长度变化，所以论文同时使用人类语料和模型内部配对比较。这个三角设计比只看“模型与人类不同”更有辨识力：人类基线说明模型偏离了真实写作分布，往返翻译说明差异不能完全由题目内容解释。
实验 1 的语料覆盖 14 个模型、三种场景。聊天包含 10 个固定话题、每个模型 10 段对话，共 120 段对话和 1,428 条分析回复；编程包含 5 个公开 Python 仓库、9 个前沿模型、45 个智能体会话；议论文使用 PERSUADE 2.0 的 7 个题目，每个模型每个题目写 10 篇，共 980 篇。人类议论文基线保留综合评分 5 或 6 的 2,934 篇学生作文。
聊天由另一个模型模拟真实用户，每段最多 12 轮；编程会话由模拟仓库所有者追问，最多 11 个 episode。作者刻意关闭 Pi 智能体框架的额外技能、提示模板、上下文压缩与自有重试，避免不同模型运行在差异过大的工具环境中。这个控制对解释跨厂商差异很关键，因为本文比较的是基础模型行为，而不是各家公司产品界面的组合效果。
图 1：论文概览。左侧是数据采集流程，上部是聊天、编程、议论文三类语料，右侧列出建模时考察的加工成本特征。图中还以“wrap”为例展示无关系词宾语从句、去名词化动词、无生命主语和低频相邻词对如何同时出现。
实验设计与主要证据
结果首先支持 H1，但支持强度随模型和场景变化。作者报告，在所有三种场景、几乎所有前沿与近前沿模型中，往返翻译后的文本都出现更多未登录二元组和更高三元困惑度。去名词化动词、无生命主语以及无关系词宾语从句也大多呈现同样方向。反过来，带关系词的宾语从句在往返翻译后变多，这与模型偏好省略可选关系词、选择更短实现相一致。
与人类文本相比，九个前沿或近前沿模型全部更常使用“无生命主语加典型有生命主动词”，也全部更常产生低频 n 元组。多数模型在聊天中还有更长依存、更多三名词堆叠和更多缩减宾语关系从句。编程与聊天总体模式相近，议论文场景的效应则更小。作者推测，多轮对话和长编程会话更容易积累压缩压力，而单轮作文缺少这种反复上下文约束。
模型家族差异不是噪声，而是论文的重要结果。Llama 3.1 8B 的基座与指令模型、Olmo 3 7B 的基座与指令模型在往返翻译前后的变化最小，在 n 元组与动词指标上也最接近学生作文。Olmo 3 7B Think 却与前沿模型同向，作者据此强调“训练阶段”比“参数规模”更能解释这种分布变化。同一个基座进入推理后训练后，语言画像可能明显改变。
最值得关注的比较是 Claude Opus 5.5 与 Opus 5。论文报告，在接近全部的 21 个模型乘场景比较中，Opus 5.5 有 19 个低于前代模型的难度相关指标；其中 8 个比较的 95% 区间不重叠。这不能证明新版一定更容易被所有人理解，但它提供了一个反例，说明这种分布不是模型能力提升的不可避免副产品，后训练决策可能让模型变得更接近人类表达。
图 2：各模型原始文本相对英日英往返翻译的变化。横轴以模型间原始值的标准差表示，柱为 95% 自助法区间。多数前沿模型在往返翻译后减少难处理结构，而 Llama 与 Olmo 基座模型的差异较小。
图 3 将结果压缩为两类证据。左侧把模型与人类基线比较，右侧以学生作文作为参照检验往返翻译效应。可以看到，不同模型在“比人类更压缩”与“与改写版本不同”两条轴上并非完全重合。论文因此没有声称所有模型都有统一风格，而是指出多个独立模型家族在若干已知加工成本上朝同一方向漂移。
图 3a：聊天、编程和议论文场景中的特征变化总览。绿点表示原始模型值显著高于对照，紫点表示对照更高，空心点表示不显著；右侧中位数列帮助读者看总体方向。
图 3b：议论文场景下模型与人类学生作文的比较。这里的关键不是单一显著点，而是多个模型在低频 n 元组、无生命主语和去名词化动词上共同偏离人类写作。
| 证据层 | 规模 | 用途 |
|---|---|---|
| 聊天语料 | 12 个模型、10 个话题、120 段对话、1,428 条回复 | 比较多轮、非正式交互 |
| 编程语料 | 9 个前沿模型、5 个仓库、45 个智能体会话 | 检验长工具调用会话 |
| 模型议论文 | 14 个模型、7 个题目、每格 10 篇、共 980 篇 | 与同题学生作文比较 |
| 人类作文基线 | PERSUADE 2.0 中评分 5 或 6 的 2,934 篇 | 控制题目与写作人群 |
| 平行改写 | NLLB-200 3.3B，英文到日文再回英文 | 固定语义后观察表达选择 |
表 1：实验 1 的真实证据规模。表中数字来自论文第 3 节与附录 A，不包含被丢弃的失败尝试。
为什么“更短”可能意味着“更难”
论文提出的机制可以用信息密度来概括。假设两个句式携带相同命题，较短句去掉了一个可选词，也减少了读者预测下一个成分的线索。对只关心最终答案的验证器而言，两者同样正确；对需要增量解析的人而言，较短句可能把更多句法决定推迟到后文。作者预测，当压缩压力持续存在时，模型会越来越稳定地选择短式，而不是像人类一样根据语境调节。
这与“均匀信息密度”形成对照。人类语言常通过保留可选词、调整词序或增加解释性成分，把信息分配到读者更容易消化的位置。最大信息密度则相反：只要不改变任务正确性，就尽量少用 token。两者在单句上差异很小，但在长对话、代码审查或复杂推理链中会累积为明显不同的阅读负担。
需要强调，论文测量的是心理语言学文献中与加工困难相关的代理指标，并没有让大规模人类受试者逐句阅读这些模型输出。因此最稳妥的结论是：模型选择了更多“已知会提高人类加工成本”的结构；这些结构在具体语境中是否一定导致理解失败，还需要直接阅读时间、眼动、理解题或真实用户任务来验证。
用 GRPO 直接制造信息压缩压力
实验 2 不满足于相关性，而是给开源模型加一条明确长度惩罚。训练任务把结构化事件描述转换成英文句子。每个事件至少存在一组句法交替，其中一种比另一种少若干 token。例如双宾语结构“gave his wife a gift”比介词结构少 1 个 token；无关系词宾语从句比带“that”的版本少 1 个；被动句的两版通常相差 2 个 token；语气词位置控制项两版长度相同。
| 交替结构 | 短式 | 长式 | 节省 token | 用途 |
|---|---|---|---|---|
| 双宾语 | gave his wife a gift | gave a gift to his wife | 1 | 训练 |
| 宾语关系从句 | the book the professor wrote | the book that the professor wrote | 1 | 训练 |
| 补语从句 | knew the answer was wrong | knew that the answer was wrong | 1 | 训练 |
| 小品词控制 | picked up the book | picked the book up | 0 | 训练控制 |
| 被动句 | a falling branch hit it | it was hit by a falling branch | 通常 2 | 远迁移 |
| 属格 | noticed the old house’s roof | noticed the roof of the old house | 1 | 远迁移 |
| 目的从句 | left early to catch the train | left early in order to catch the train | 2 | 远迁移 |
表 2：论文表 3 的句法交替。被动句在 150 个测试项中有 132 个节省 2 个 token、15 个节省 3 个、3 个节省 1 个，因此表中写“通常 2”。
形式化地，论文把策略优化写成如下目标。奖励包含任务正确性与格式检查，同时减去每 token 长度惩罚：
$$J(\theta)=\mathbb{E}_{x,y\sim\pi_\theta}\left[R(x,y)-\beta\operatorname{KL}\!\left(\pi_\theta(y\mid x)\,\|\,\pi_{\mathrm{ref}}(y\mid x)\right)\right]$$其中 $\beta$ 控制模型偏离参考策略的代价，$\lambda$ 把长度变成直接可优化的信号。正则化后的理想策略可以写成参考策略按奖励重新加权：
$$\pi^{*}(y\mid x)=\frac{1}{Z(x)}\pi_{\mathrm{ref}}(y\mid x)\exp\!\left(\frac{R(x,y)}{\beta}\right)$$对两个只在长度上相差 $\Delta$ 个 token 的同义形式，偏好差异可近似展开为：
$$\log\frac{\pi^{*}(s\mid x)}{\pi^{*}(l\mid x)}=\log\frac{\pi_{\mathrm{ref}}(s\mid x)}{\pi_{\mathrm{ref}}(l\mid x)}+\frac{\lambda\Delta}{\beta}$$这个式子直接给出可检验预测：当 $\lambda$ 增大或 $\beta$ 减小时，较短形式 $s$ 相对较长形式 $l$ 的对数优势会增加。若模型真的学到一般性的压缩偏好，它甚至应在训练分布之外的短长交替上发生迁移。
实际奖励为正确性、格式和长度惩罚的乘积与差：
$$R(x,y)=c(x,y)f(y)-\lambda|y|$$GRPO 在每个提示下采样一组回答，用组均值作为基线计算优势：
$$A_i=R_i-\frac{1}{G}\sum_{j=1}^{G}R_j$$训练目标对 token 做归一化，并加入截断重要性比与 KL 估计：
$$\mathcal{L}(\theta)=-\frac{1}{NL_{\max}}\sum_{i=1}^{N}\sum_{t=1}^{|y_i|}\ell_{i,t}$$ $$\ell_{i,t}=w_i\min\!\left(\rho_{i,t}A_i,\operatorname{clip}(\rho_{i,t},1-\epsilon,1+\epsilon)A_i\right)-\beta k_{i,t}$$论文使用 Qwen2.5-1.5B-Instruct 作为基座，LoRA 秩为 16、缩放为 32，覆盖全部线性层。训练 500 步，总计 4,000 个提示，其中 3,750 个互不相同；每一步 8 个提示、每组 16 个样本，共 128 条完成；最大生成长度 64 token。长度惩罚取 0、0.01、0.03、0.1，KL 系数取 0、0.04，三个随机种子组合成 24 次训练，全部实验约使用一块 NVIDIA L40S 共 31 GPU 小时。
flowchart LR A["Qwen2.5-1.5B-Instruct"] --> B["GRPO 采样 16 个回答"] B --> C["正确性与格式奖励"] C --> D["减去每 token 长度惩罚"] D --> E["组均值优势与策略更新"] E --> F["训练型交替
双宾语 宾语从句 补语从句"] E --> G["近迁移
sure that so that"] E --> H["远迁移
属格 被动 目的从句 量词"] F --> I["短式选择率"] G --> J["未训练语境是否也偏好短式"] H --> K["是否形成一般压缩偏好"]
图 4：本文特有的实验因果链。不是直接让模型“写得简洁”，而是只改变奖励中的长度项，再观察它是否自发把偏好迁移到训练中未点名的句法交替。
长度惩罚产生了什么结果
最重要的结果来自无 KL 约束的设定。$\lambda=0$ 时，不同随机种子对短式的偏好可以从 0% 一路变化到 100%，说明没有稳定方向；只要 $\lambda\gt 0$，所有种子都收敛到近乎分类式的短式偏好。两种训练过的“that”交替在每个正长度惩罚下都超过 98% 选择短式。这种整齐程度不像人类根据可预测性、句法复杂度和语境做出的连续调节。
有 KL 约束时，趋势仍随 $\lambda$ 上升，但变化更平缓。这符合前面的推导：同等奖励差下，较大 $\beta$ 会压低策略偏离参考策略的幅度。论文因此不仅验证“长度惩罚会让输出变短”，还验证了惩罚强度与正则系数之间的可预测权衡。
模型还在未见过的“sure that”和“so that”近迁移项上稳定选择省去关系词或补语标记的版本。这说明它没有只背下四个训练模板，而是把“较短、较压缩”的选择倾向带到了相邻句法语境。远迁移则明显更有限：四种远迁移交替中，只有属格结构在无 KL 条件下随长度惩罚改变；被动句和目的从句没有移动，量词项在基座模型中已接近天花板。这个结果让结论更可信，因为作者没有把一次有限泛化包装成通用语言规律。
图 5：论文的核心干预结果。A 是事件输入与两个合法输出；B 显示未见测试项使用短式的比例；C、D 显示强制选择时短句的概率。橙色为无 KL 训练，蓝色为 $\beta=0.04$，虚线为基座模型，浅色线是单个种子。
图 6：模型与人类基线对照。虚线分别是聊天字幕、编程问答和人类学生作文，点线是维基百科参照；不同颜色对应三种场景。它补充说明了“与改写不同”并不等于“与所有人类文本都不同”，每个指标的偏离幅度需要分开判断。
| 配置 | 论文取值 |
|---|---|
| 基座模型与微调 | Qwen2.5-1.5B-Instruct；LoRA 秩 16、缩放 32 |
| 训练规模 | 500 步；4,000 个提示；3,750 个不同提示 |
| GRPO 采样 | 每步 8 个提示；每组 16 个回答；每步 128 条完成；最长 64 token |
| 参数网格 | $\lambda\in\{0,0.01,0.03,0.1\}$；$\beta\in\{0,0.04\}$；种子 0、1、2 |
| 计算 | 24 次运行；一块 NVIDIA L40S；约 31 GPU 小时 |
| 数据成本 | 进入分析的运行 211.78 美元；含丢弃、试跑与验证共 251.19 美元 |
表 3：实验 2 的训练配置与成本。数字来自论文表 4 和附录 A/C。
这篇论文真正改变了什么
第一项贡献是把“AI 文风”从模糊的词汇偏好推进到可计算的句法与信息论指标。低频词、堆叠名词和长依存并不新，但把它们与往返翻译、人类基线和模型家族对照放在同一框架里，能区分内容难度、模型选择与后训练阶段。
第二项贡献是把机制假说变成干预。过去很容易说“强化学习让模型表达变差”，却无法确定是数据、模型规模、工具环境还是产品提示造成。长度惩罚实验至少证明一个极简奖励变化就足以把语言选择推向短式，而且无需在提示里告诉模型任何句法知识。这为后续研究 RLHF、RLVR、推理预算和上下文长度如何影响可理解性提供了可复制方向。
第三项贡献是给出改进可能性的证据。Opus 5.5 在 19/21 个难度相关比较中低于 Opus 5，说明更强的任务能力不必与更重的语言加工成本同步。未来可把可读性、读者理解题、解释忠实度或监控成本加入奖励，或者针对不同场景训练不同的表达策略。
对机器人与具身智能系统而言，这项工作有一个直接但有限的启示：自然语言不仅是最终回答的界面，也是任务计划、失败解释、代码审查和安全告警的监控通道。若一个智能体用更短但更不透明的句法描述行动，人类操作员可能仍需完成任务层面的正确性验证。论文没有研究机器人，因此不能把结果直接外推为“具身模型更危险”；它提供的是一个值得在机器人语言界面中复测的风险轴。
局限性与需要保留的判断
作者明确承认，研究只覆盖常用模型的一个子集，只分析英语，聊天话题和代码仓库数量有限，理想情况下应在更多模型家族与更多种子上复现。模型版本具有时效性，API 行为可能随提供商更新而变化，因此论文中的具体排序不能当作永久排行榜。
第二项作者自述局限是因果识别。真正理解前沿模型的训练来源，需要在后训练全过程中做受控实验，但大规模闭源模型无法做到；论文因此同时使用观察性语料和一个小模型代理。长度惩罚实验证明“信息密度可以造成这种偏移”，却没有逐一证明每个商用模型实际上就是被这条机制塑造。
第三项局限来自测量本身。依存长度、低频 n 元组和宾语关系从句与加工困难有文献支持，但它们仍是代理变量。往返翻译也可能把原文改写成更短或更常见的翻译腔，从而与模型的压缩偏好混淆。更严格的后续研究应加入人类阅读时间、理解题、眼动、口头复述和跨语言母语者样本。
从方法设计看，单一开源小模型、单一结构化转写任务和四类训练交替，足以做机制证明，却不足以估计真实生产场景中的效应大小。训练提示有 4,000 个，但其中只有 3,750 个不同样本；500 步和 64 token 上限也限制了语言复杂度。未来需要在更长上下文、多轮工具调用和更多语体中检验迁移边界。
论文将聊天与编程中的更大效应部分归因于多轮上下文压缩压力，但这一解释仍是推测。不同场景的提示、模拟用户、输出长度和工具可用性同时变化，场景差异不能完全归因于轮数。论文的谨慎之处在于用了“假设”“代理”和“概念验证”这些限定词，读者也应保留同样的限定。
结论
这篇论文的核心结论不是“AI 的每句话都更难懂”，而是“当任务奖励不包含人类理解时，模型可能稳定选择在人类加工成本上更昂贵、但在信息密度上更划算的合法表达”。14 个模型的语料显示这种倾向广泛存在，长度惩罚实验则给出一个简洁的因果概念验证：只改变 token 成本，模型就能从种子间摇摆转为近乎分类式地偏好短式，并把部分偏好迁移到未见结构。
真正需要对齐的对象因此不只是答案正确率，还包括沟通方式。对于面向机器人、代码和复杂工作流的智能体，语言既是操作界面，也是审计接口。把人类理解成本写进训练目标、评测协议和运行时监控，可能比事后要求模型“说得简单点”更可靠。
论文金句：让模型在数学、代码和智能体任务中成功的训练目标，并不保证与塑造人类语言的理解压力保持一致。
