Skip to content
←返回论文库

PAPER DEEP DIVE

Novelty DetectionAI ScientistClaim Verification

AI 科学家知道什么是新的吗?基于贡献声明与证据档的 ClaimNov 新颖性判定

AI 科学发现流水线需要判断生成的想法是否真正新颖:既要拒绝重复工作,又不能误杀仍有价值的新方向,并应说明提案的哪些部分已有先行工作。论文构建了一个带时间证据的提案级与贡献声明级评估框架,并用已发表论文、审稿争议和后续被人类研究者实现的想法组成四个数据集,共 1,060 个提案。审计现有检查后发现,高重复捕获率往往伴随对后续真实想法的显著误报,而整篇判定只能通过拒绝整个提案来指出局部先行工作。为此,作者提出 ClaimNov:抽取问题、方法、资源和结果四类贡献声明,在同维度文献中检索并分级判断覆盖程度,再依据完整证据档作最终判定。ClaimNov 在 1.5% 误报率下捕获 97% 的伪装论文;其声明级证据档把大模型判定器的误报率从 11.8% 降到 1.5%,并在包含一项拼接旧贡献的 100 个新提案中保留 91 个,而最强已有检查为 76 个。代码与数据已公开。

论文:Do AI Scientists Know What’s New?
作者:Miri Liu、Xiayu Zhao、Encheng Xie、ChengXiang Zhai,伊利诺伊大学厄巴纳-香槟分校
原文:https://arxiv.org/abs/2610.36511,预印本 2610.36511,全文 HTML 可通过 arXiv 公开访问
代码状态:作者已公开 emmatliu/claimnov。本次核对的提交为 413f16c7f94b936fd98c2e554b20db868a436f6a,核心流程、提示词、聚合函数和实验脚本均可在仓库中找到。
研究领域:AI 科研自动化、科研构思评估、大语言模型判定、科学新颖性检测

一句话总结

论文先用四个带时间证据的数据集审计现有新颖性检查,再提出 ClaimNov:它把研究提案拆成有类型、可核验的贡献声明,逐条匹配先行工作,并让最终判定器基于完整证据档而不是单个相似度分数作决定。

论文 Figure 1:ClaimNov 与已有新颖性检查在伪装论文和后续实现想法上的对比
图 1:论文的核心对照。已有检查要么几乎不拒绝,要么把大量后来被人类研究者实现的想法一起拒掉;ClaimNov 在 380 个伪装提案中拒绝 367 个,并把 400 个后来实现想法中的误报控制在 1.5%。图像来自论文 Figure 1。

1. 研究背景:为什么“像不像旧论文”不足以判断新颖性

自动科研系统已经能生成研究问题、方法草案、实验计划和论文式叙述。生成能力提高以后,系统面临的下一个问题并不是“还能不能写出一个提案”,而是“这个提案是否已经在文献中被做过”。如果系统把已有工作换一种说法就当成新发现,后续实验会浪费在重复劳动上;如果系统过度保守,又会把真正的新方向提前扼杀。新颖性检查因此成为科研代理流水线中的入口控制。

现有做法大致分成两类。一类把提案和文献摘要映射到向量空间,用最大余弦相似度或阈值决定是否拒绝。另一类让大语言模型阅读提案和若干候选摘要,直接输出“新颖”或“不新颖”。前者的优点是便宜、稳定,缺点是无法区分问题、方法、资源和结果等不同层面的贡献;后者的语义理解更强,却容易把“主题接近”误判成“贡献已被完成”,也常在缺少可追溯证据时给出没有依据的结论。

论文指出了一个更基本的设计问题:研究提案并不是一个不可分割的大声明。一个提案可能提出新问题,却沿用成熟方法;也可能使用已有数据集来验证一个新机制;还可能在已有成果上增加一个真正新的实验结论。只要其中一个贡献已经存在,就把整份提案判死,会把大量增量式但正当的研究拒之门外。反过来,只要求所有贡献都重复才拒绝,又会让“九成旧、只换一个表面组件”的伪装提案通过。

作者因此把新颖性判断拆到贡献声明层面。系统要回答的不是“整段文字和哪篇摘要最像”,而是“提案声称了哪些具体贡献,各自被哪篇先行工作覆盖到什么程度,剩下哪些部分仍然新”。这种分解同时服务于准确率和可解释性:拒绝时能够指出是哪条声明、由哪篇论文覆盖;通过时也能说明哪些声明尚未在检索池中找到先行工作。

论文还强调,评估本身不能只看“拒绝了多少非新颖提案”。一个永远拒绝的系统很容易获得很高的捕获率,却没有实际价值。真正需要同时观察两个方向:面对已知来源的伪装提案,系统能否找到来源;来源从文献池移除后,系统是否停止错误拒绝;面对后来被人类研究者实现的想法,系统是否保持足够的通过率。论文的四个数据集就是为了把这几个方向分开测量。

2. 评价契约:把不同系统放进同一个输入输出框架

论文没有直接比较各系统原始界面,而是定义了统一的评估契约。每次检查都接收同一个研究提案和同一个参考文献池。提案由标题与 150 至 400 词描述组成;文献池中的每篇论文只用编号、标题和摘要表示。内置搜索的代理被沙箱化,只能在该池中检索,从而避免不同系统的联网能力、索引规模和搜索预算造成不可控差异。

输出被分为三层。第一层 L1 是最终的通过或拒绝结论以及理由;第二层 L2 是位于零到一之间的新颖性分数;第三层 L3 是完整的新颖性证据档,记录每条提案声明、匹配到的先行声明、对应论文和覆盖等级。论文审计的七个已有检查基本只给出 L1,而 ClaimNov 从 L3 同时导出 L2 和 L1。这个分层是理解论文贡献的关键:ClaimNov 不只是换了一个分类器,而是把“结论、分数、证据”组织成一条可检查的链路。

为了避免模型在训练中见过待测论文,作者把时间截点设为 2026 年 3 月,并选用训练截止时间早于该节点的模型。伪装论文来自 2026 年 ICML 的 spotlight 工作,且 arXiv 初版出现在截点之后;后续实现想法则来自 2025 年 NeurIPS 论文之后的新引用工作。这个时间设计不能消除所有污染,但比随机抽取历史论文更接近真实部署时的“未知未来”。

论文 Figure 2:ClaimNov 的声明抽取、同维度检索、分级蕴含、聚合与最终判定流程
图 2:ClaimNov 的完整流水线。顶层从提案和文献池抽取有类型声明;中层执行同维度检索和分级覆盖判断;底层将证据汇总为 L2 新颖性分数,并交给判定器产生 L1 结论。图像来自论文 Figure 2。

3. 四个数据集:分别测“抓到旧工作”和“别误杀新工作”

第一个数据集是“伪装论文”。作者选取 100 篇 2026 年 ICML spotlight 论文,把每篇改写成四个难度递增的提案版本,共 400 个伪装。第一级只改变叙述人称,第二级进行复述,第三级更换动机、打乱贡献顺序并隐藏方法名称,第四级进一步从不同理论起点重组内容并泛化数字。只有验证器确认核心贡献仍然一致、且提案与原文的六元组重合率足够低时,伪装才被接受。最终有 380 个提案拥有可用文献池。

每个伪装池包含原文和最多 19 篇截点前的近邻论文。这个设计允许做反事实检查:原文在池中时,合格系统应当拒绝并指出原文;把原文拿掉之后,同一份提案相对这个池就是新的,系统应当停止拒绝。论文把“来源移除后的拒绝率”单独报告,正是为了防止系统只是学到了“论文式文本一律可疑”这种捷径。

第二个数据集是“后来实现的想法”,共 400 个。作者从 2025 年 NeurIPS 论文中选取 30 个锚点,收集其截点前的参考文献和引用文献构成相关池,再收集截点后引用锚点的工作构成后续池。模型围绕锚点生成 3000 个提案,另一个模型把每个贡献分别与前后两个池中的近邻论文比较。若一个贡献在后续池中已被实现、但在截点前池中没有被实现,这个提案就被标记为“后来实现”。

第三和第四个数据集处理更细的归属问题。作者从 8300 条 ICLR 2022 至 2023 审稿意见中挖出“论文甲的某贡献已由论文乙建立”的争议,整理出 160 个可用提案,其中 62 篇最终被接收、96 篇被拒绝、2 篇结果未知。另一个混合集从 100 个后来实现想法出发,把一篇中等相似论文的核心贡献拼进去,正确答案是既通过提案,又指出拼接来源。这样就把最终判定和来源归因拆成两个可以分别评价的能力。

数据集规模构造方式理想行为
伪装论文95 篇原文,380 个提案四级改写并保留原文于池中拒绝并指出原文;移除原文后应通过
后来实现想法400锚点生成,贡献由截点后论文实现通过,不能把未来实现误当旧工作
审稿争议160ICLR 审稿指出贡献已由论文 B 建立找到贡献来源,同时尽量不否定整篇提案
混合提案100新想法拼接论文 B 的一项旧贡献通过整体提案并指出 B 的局部贡献

4. ClaimNov 方法:从研究提案到可追溯证据档

ClaimNov 的第一步是声明抽取。系统读取标题和描述,用一个低成本模型在零温度下生成一至四条贡献声明。每条声明都带四个维度之一:问题、方法、资源或结果。声明还要给出比较属性和具体取值。例如结果维度可以写“分类准确率”,取值可以写“从 30.1% 提升到 76.9%”。文献池中的论文则用摘要执行一次相同抽取并缓存。提案平均抽取 2.4 至 2.7 条声明。

提案的声明集合记为:

$$C_P=\{c_1,c_2,\ldots,c_m\}$$

每条声明 $c$ 带维度 $d_c$ 以及属性与值。这里的关键不是把论文摘要概括成几句话,而是生成能够相互比较的原子贡献。一个方法声明和一个结果声明即使主题相近,也不能直接按同一尺度比较;一个数据集声明也不应该因为摘要词汇相似就覆盖一个新算法。

第二步是同维度声明检索。对每个提案声明,系统将其声明文本与所属论文标题一起编码,在文献池中只寻找相同维度的声明,按余弦相似度排序。每篇池论文最多保留一条匹配声明,防止同一篇论文的多个相似句子反复抬高覆盖分数。检索深度随该维度池规模变化:

$$k_d=\min\left(40,\max\left(10,\operatorname{round}(0.2n_d)\right)\right)$$

其中 $n_d$ 是池中拥有该维度声明的论文数。这个启发式让 20 篇论文的小池至少检查 10 个候选,又让最多 400 篇的大池把检查量封顶在 40。它控制成本,但也意味着大池中排在第 40 名之后的潜在证据不会再进入覆盖判断,这是后文检索局限的一部分。

第三步是分级蕴含。对每个“提案声明—池声明”对,模型结合两篇论文的标题和摘要,判断池声明对提案声明的覆盖程度。等级从 1 到 5:完全无关、只共享主题、部分覆盖但细节不同、强覆盖但缺少次要细节、完整覆盖实质内容。随后把序数等级映射到单位区间:

$$e(c,c')=\frac{\ell(c,c')-1}{4}\in[0,1]$$

例如等级 1 映射为 0,等级 3 映射为 0.5,等级 5 映射为 1。这个变换使“部分相似”和“完全建立”不再被压成同一个二值标签。论文没有直接把等级 3 当完整覆盖,也没有忽略它,而是把强弱程度保留到后续聚合中。

第四步先计算单条提案声明的被覆盖程度。候选证据按蕴含分数从高到低排序,使用折扣系数 $\alpha$ 对强匹配给予更高权重:

$$a(c)=\frac{\sum_{i=1}^{k_c}\alpha^{i-1}e_i}{\sum_{i=1}^{k_c}\alpha^{i-1}},\qquad \nu(c)=1-a(c)$$

论文设置 $\alpha=0.5$,且 $k_c=\min(k_d,|R(c)|)$。若最高匹配是完整覆盖,低排名证据即使存在,也不会把分数稀释到零;若最高匹配只是主题相近,后续较强的部分覆盖仍能贡献证据。对应的声明新颖度 $\nu(c)$ 则直接表示这条贡献还剩下多少未被覆盖。

第五步把声明分数汇总为提案分数。不同维度有先验权重 $w_d$:问题 0.4、结果 0.3、方法 0.2、资源 0.1。提案内每条声明的相对重要性记为 $\operatorname{imp}(c)$。对于提案,声明通常均分权重;对于完整论文,可以用每条声明支持段落数量占全部支持段落的比例来估计重要性。

$$A(P)=\sum_{c\in C_P}w_{d_c}\operatorname{imp}(c)a(c)$$

$$A_{\max}(P)=\sum_{c\in C_P}w_{d_c}\operatorname{imp}(c),\qquad N(P)=1-\frac{A(P)}{A_{\max}(P)}$$

$A(P)$ 是加权后的已覆盖贡献质量,$A_{\max}(P)$ 是所有声明都被完整覆盖时的上界,因此 $N(P)$ 位于零到一之间。需要注意,$N(P)$ 不是最终判决。论文明确要求把证据档 $\Phi(P)$ 交给更强的最终判定模型,后者读取每条声明的候选论文、摘要和覆盖等级,输出通过或拒绝、问题声明集合、主要先行论文以及一至两句理由。

flowchart TD
    P[研究提案:标题与描述] --> E[抽取 1 至 4 条有类型贡献声明]
    Q[文献池:标题与摘要] --> EP[抽取并缓存池声明]
    E --> R[按问题/方法/资源/结果同维度检索]
    EP --> R
    R --> H[为每条声明保留每篇论文最佳匹配]
    H --> G[分级判断覆盖程度 1 至 5]
    G --> U[映射到 0 至 1 并做排名折扣]
    U --> S[按维度权重与声明重要性聚合]
    U --> F[构造完整声明级证据档]
    S --> N[得到新颖性分数 N(P)]
    F --> V[最终判定器读取证据档]
    V --> O{整体通过还是拒绝}
    O -->|拒绝| X[指出先行论文与已建立声明]
    O -->|通过| Y[保留提案并说明剩余新贡献]

这一设计把“分数”和“判决”分开。分数可以用于排序、阈值实验或训练奖励;判决则可以处理更高的语义问题,例如一个提案包含一条已建立声明、但同时有三条真正新的声明时,整体是否仍值得进入实验。作者观察到,逐声明规则会在这种混合情况下过度拒绝,而读取完整证据档的判定器更符合研究提案的真实结构。

5. 公开代码如何对应论文方法

代码仓库不是仅有 README 的占位实现。仓库中的 src/novelty/pipeline.py 在 score_paper 中依次调用声明抽取、支持段落计数、同维度检索、逐对蕴含判断、声明信号聚合和提案聚合,返回结构同时包含整体分数、检索状态以及每条声明的候选与等级。这与论文 Figure 2 的流程一致。

src/novelty/retrieve.py 的 top_k_works 只保留与目标声明同维度的候选,以余弦相似度排序,并用一个字典把每篇论文限制为最高分的单条声明。代码中的 config.py 还直接声明了最小十、最大四十、比例为 0.2 的检索深度,以及 0.5 的折扣系数和四个维度权重,因此论文中的关键超参数不是只写在正文里。

src/novelty/aggregate.py 同时实现 claim_anticipation、claim_signals 和 paper_novelty。声明覆盖率使用排序折扣;提案聚合根据支持段落或均分重要性,把问题、结果、方法和资源合成整体分数。最终判定在 gate.py 的 profile_veto 中完成,输入是完整声明档,而不是模型自己重新搜索得到的模糊上下文。

仓库还对声明维度和边界给了详细提示。例如“提出一个新的任务设定”应标为问题,而不是方法;“证明某个组件有效”应标为结果;“发布数据集或工具”应标为资源。这样的类型规则减少了关键词相似但贡献类型不同的错误匹配。它也说明 ClaimNov 的“可解释”不是事后给判决附加一句理由,而是从抽取阶段就限定证据单位。

6. 实验结果:灵敏度、误报和来源归因

在整体提案数据上,ClaimNov 在 380 个伪装中拒绝 367 个,并在 366 个拒绝中指出原始论文;把原文从池中移除后,只拒绝 18 个;在 400 个后来实现想法中,误报为 6 个,即 1.5%。由此得到 $J=0.95$ 和 $\Delta=0.92$。$J$ 是捕获率减误报率,$\Delta$ 是捕获率减“移除来源后的拒绝率”,前者衡量判别增益,后者衡量系统是否真的依赖池中的来源证据。

CoI-Agent 与 ClaimNov 是最接近的强基线:它拒绝 368 个伪装、来源移除后仍拒绝 31 个、误报 3.8%,得到 $J=0.93$、$\Delta=0.89$。两者在整体提案上统计上不拉开显著差距,但 ClaimNov 的最终判定调用在论文测量中为每次约 0.010 美元,CoI-Agent 为 0.039 美元,前者约为后者的四分之一。这个比较只覆盖最终判定调用,ClaimNov 的抽取与蕴含成本还会随池规模增长,不能把它误解为端到端总成本一定只有四分之一。

Si 等人的检查能拒绝全部 380 个伪装,但移除原文后仍拒绝 359 个,后来实现想法误报达到 96.0%。AI Scientist v1 捕获 292 个伪装、误报 51.8%;AI-Scientist-v2 捕获 362 个、误报 39.2%。OpenNovelty 风格基线捕获 379 个、移除来源后拒绝 38 个、误报 11.5%。这些数字说明单一的高捕获率很容易掩盖严重的保守偏差。

论文 Table 1 的渲染截图:整体提案结果
图 3:论文 Table 1 的原始渲染截图,列出主要基线、ClaimNov 的捕获数、来源移除后的拒绝数、误报率以及两个综合指标。图像由 arXiv HTML 中的原始表格直接渲染。
检查捕获 / 380指出来源 / 380移除来源后拒绝后来想法误报JΔ
AI Scientist v12922929151.8%+0.48+0.76
CoI-Agent368362313.8%+0.93+0.89
Si 等38037935996.0%+0.04+0.14
AI-Scientist-v2362—11739.2%+0.56+0.64
OpenNovelty 风格3793793811.5%+0.88+0.90
ClaimNov367366181.5%+0.95+0.92

在 160 个审稿争议提案上,ClaimNov 对最终被接收和被拒绝的提案都只有 3% 的拒绝率,说明它不会因为发现一条争议声明就把整份研究计划判死。它的声明档直接排名把审稿人指出的论文 B 放在首位 21% 的情况;如果换成对整篇提案做稠密检索并使用同一个判定器,指出 B 的比例提到 37%,但提案仍保持 3% 的整体拒绝率。论文因此把“判定”和“归因”明确分开:ClaimNov 的价值主要在于正确的局部判决,而不是声称自己的声明级排序天然最优。

审稿争议检查拒绝已接收提案拒绝已拒绝提案指出论文 B通过时指出 B
ClaimNov3%3%21%20%
ClaimNov + 稠密首位3%3%37%36%
CoI-Agent + 稠密首位10%11%37%31%
CoI-Agent 原生10%11%6%0%
Si 等81%78%47%0%

混合提案进一步暴露了整篇判定的问题。100 个提案都应通过,因为它们是后来实现的新想法;每个提案只拼接一项论文 B 的旧贡献。ClaimNov 通过 91 个,而 CoI-Agent 通过 76 个,OpenNovelty 风格通过 83 个。ClaimNov 原始声明档只在 25 个提案中指出 B,但通过的情况下有 18 个同时正确指出 B。若给它同一个 BM25 整篇检索排名,则通过率保持 91,指出 B 达到 74,其中 67 个是在通过的同时指出。

原文给出一个重要细节:当拼接贡献被正确抽成独立声明时,判定器通常把 B 评为等级 4 或 5;在等级 4 以上的 15 篇论文中,有 13 篇确实是 B。与此同时,400 个后来实现想法中只有 9 个出现等级 4 以上的覆盖。局部证据既能支持“通过但标注已有贡献”,也没有在整个未来想法集合上大量触发。

混合提案检查通过 / 100指出拼接论文 B通过且指出 B
CoI-Agent76110
OpenNovelty 风格836864
ClaimNov912518
ClaimNov + BM25 首位917467
CoI-Agent + BM25 首位767453

7. 消融与稳健性:收益来自哪一层

去掉声明级证据档、让判定器直接读最相近的八篇摘要后,伪装捕获仍有 373 个,但来源移除后的错误拒绝从 18 升到 57,后来想法误报从 1.5% 升到 11.8%。这组对比最直接地支持论文的核心主张:提升并不只是来自更强的最终模型,因为两行使用同一个模型;差别在于模型看到的是经过核验的声明证据,还是整篇提案的最近摘要。

如果改成“任何一条重要声明被覆盖就拒绝”的逐声明规则,系统会拒绝全部 380 个伪装,也会在来源移除后拒绝 197 个,并把后来想法误报推到 56.8%。这说明逐声明证据不能简单还原为逐声明否决。研究提案允许多条贡献并存,判定器必须考虑覆盖发生在哪一条、其余贡献是否仍然成立。

若不用最终判定器,只按聚合分数阈值和一个强覆盖规则作决定,系统捕获 349 个伪装,误报 1.8%。它比完整 ClaimNov 少抓 18 个,但误报只多 1 个,是成本敏感场景下的重要退路。论文把固定检索深度设为 10 时,整体捕获几乎不变,但误报从 1.5% 变为 2.0%,说明动态深度对简单伪装池影响有限,在更大池中才更重要。

作者用不同模型族重新标注“后来实现想法”,ClaimNov 的误报率始终在 1.3% 至 1.5% 之间;换成其他最终判定模型时,捕获率会下降,但声明证据档相对“最近摘要判定”仍能降低误报和来源移除后的错误拒绝。把文献池扩大到约 200 篇后,最难一级伪装的捕获率下降,但来源移除后的拒绝仍接近零。这个结果支持方向性结论,也提醒读者:复杂检索池会带来更多语义碰撞,系统并非在所有池规模下保持同样数值。

8. 局限性:作者承认的边界与额外风险

作者明确承认,新颖与非新颖标签仍依赖启发式构造,并不是一个完美的人工真值数据集。伪装论文由模型改写,后续实现想法由模型标注,审稿争议来自审稿人判断而非统一专家复核。尽管论文用另一模型族和 60 个样本的人工审计做了交叉检查,标签噪声仍然存在,尤其是“同一贡献”本身在科学共同体中就没有绝对共识。

全部实验只覆盖 AI 研究和英文论文。问题权重 0.4、结果权重 0.3、方法权重 0.2、资源权重 0.1 反映的是 AI 论文的贡献习惯。在生物医学、材料或社会科学中,资源、实验规程、理论证明和临床结果的重要性排序可能完全不同。作者明确说这些假设需要按领域重新校准,因此不能把当前权重直接当作跨学科通用常量。

文献池是固定列表,而不是开放搜索。伪装和争议集每池约 20 篇,生成想法池最多 400 篇。固定池让反事实比较更干净,却没有评估真实系统面对的检索、日期过滤、同名概念和引用覆盖问题。即使 ClaimNov 的声明判定完全正确,只要关键先行工作没有进入池,系统仍可能通过一个有重复贡献的提案。这是部署时比静态实验更大的风险。

生成提案、伪装提案和最终判定使用同一模型族,存在自我偏好。论文用其他判定模型和替代标签模型做稳健性检查,但没有完全消除这个偏差。另一个独立风险是错误传播:如果抽取阶段漏掉拼接贡献,或把两个不同声明合并,后面的检索和判定都看不到正确对象。混合提案中 ClaimNov 原始声明档只在 25 个案例里指出 B,正是抽取与排序仍有损失的直接证据。

时间数据集还会随模型更新而失效。新的判定器如果训练数据覆盖了截点后的论文,实验就不再是真正的时间外测试;要维持有效性,必须用新的截点重建锚点、后续池和伪装材料。作者也承认,当前工作主要评估静态的一轮判定,没有充分回答在生成循环中反复拒绝并重写会怎样改变最终想法分布、消耗多少 token,以及是否会诱导模型只追求表面差异化。

9. 对科研代理系统的意义

ClaimNov 的工程价值不只是提高一个通过率。它给科研代理提供了一种可操作的局部反馈:如果问题声明已经存在,可以保留任务并寻找新方法;如果方法声明已被覆盖,可以调整技术路线;如果只有结果声明重复,可以重新设计实验或问题设定。相比“整份提案不新颖”的黑箱结论,这种反馈更容易转化成下一轮生成约束。

它也适合作为奖励模型的一部分。科学进步大多数时候不是彻底推翻旧范式,而是在已有问题上改进方法、扩展资源或补齐结果。若奖励只看整篇论文与旧论文的距离,代理会系统性偏向陌生词汇和夸张重构;若奖励能区分“哪条声明新、哪条声明旧”,系统可以在继承成熟工作的同时寻找真正增量。

不过,这套系统不能被当成学术优先权的自动裁判。固定文献池、模型截点、声明抽取和覆盖等级都会影响结论。更合理的部署方式是把 ClaimNov 的证据档作为审稿辅助:它提示可能的先行工作和重复声明,由研究者检查语义、实验条件和领域差异,再决定是否真正重复。论文的贡献在于把讨论从单一相似度分数推进到可审计的贡献结构,而不是宣称机器已经解决科学新颖性的全部哲学问题。

10. 总结

这篇论文同时完成了测量工具和方法模块两项工作。测量方面,它用伪装论文、后来实现想法、审稿争议和混合提案,把捕获、误报、来源依赖和局部归因拆开评价。方法方面,ClaimNov 将研究提案分解为有类型的贡献声明,在同维度池中做分级覆盖判断,再把完整证据档交给最终判定器。

数值上,ClaimNov 在 380 个伪装中抓到 367 个,原文在池时指出其中 366 个;移除原文后只拒绝 18 个;400 个后来实现想法中误报 6 个。更细的审稿争议和混合提案结果表明,它对已有贡献保持敏感,却比整篇判定器更少否定仍含新贡献的研究计划。代码中的检索、蕴含、聚合和判定模块与论文步骤能够一一对应。

最重要的结论不是“AI 科学家已经完全知道什么是新的”,而是现有大量检查在新颖性与保守性之间失衡。把新颖性落到具体贡献声明,再让判定器读取证据,是一条比单一向量阈值更可解释、也更接近科研实践的技术路线。它仍然依赖固定文献池和模型判断,但至少把错误暴露在可检查的声明和来源上。

金句:判断一份研究计划是否新颖,不应只问它与哪篇论文最像,而应追问它的每一项贡献分别被谁建立、还剩下什么没有被建立。

相关论文

智能体科学家:编排编码智能体实现自动化科学(协同)发现

智能体科学家:编排编码智能体实现自动化科学(协同)发现

现代编码智能体正在重塑计算研究中人类的角色:它们写代码、发起 in-silico 实验、分析结果,并在越来越长的时间跨度上自主运转。但完全自主的研究智能体有两个硬伤——想法半径太窄,搜索动力学是短视的爬山。Sakana AI 提出 The Agentic Scientist:一条端到端的分布式流水线,让人类研究者与编码智能体并肩做计算研究。系统把研究拆解为任务起草、想法生成、规划、沙箱实验、结果聚合、基线与消融构建、事后分析与报告撰写,每一步都由下一代编码智能体驱动并自带智能体自校验;上层由一个元控制器管理并行的研究智能体,并在每个阶段强制 rubric 校验,因此同一套编排层能跨不同执行环境、编码 harness 与评价指标复用。系统的自主性是一条连续光谱:既可当协同科学家工具,也能端到端独立完成科研。在协同模式下,其开发版本参与完成的一篇论文已被 ALIFE 2026 接收;在全自主模式下,它攻克了若干机器学习开放问题,例如把 Doc-to-LoRA 的精确匹配准确率从 51.7% 推到 98.0%,并让元训练出的进化策略在 7 个未见过的 Brax 控制任务中的 5 个上匹配或超过 CMA-ES。消融进一步显示:可靠的科学自主性不只取决于基座模型能力,更取决于跨智能体的编排层。

Robert Tjarko Lange, Luca Grillotti, Yutaro Yamada · 498次阅读 · 2026年10月13日
AI ScientistCoding Agent
2026年10月13日
IdeaScientist:科研构思智能体编排

IdeaScientist:科研构思智能体编排

自动科研系统大多把提出想法与实现、实验、写作耦合在一起,难以判断成功究竟来自想法还是执行。IdeaScientist 把科研构思剥离为独立任务:给定问题定义与当前方案未满足的挑战,产出有据的研究提案。系统由 orchestrator 协调三个子智能体——gap finder 在同问题先前工作中定位方法论缺口,innovator 到其他领域寻找解决过同类挑战的机制并迁移,report writer 把存活的直觉写成完整提案;每个角色用异步 GRPO 与参考锚定的 rubric 奖励单独训练。为支撑跨域检索与时间可控评测,作者构建 Svalbard Idea Vault:从 470 万篇 arXiv 论文中分解出 277 万条(问题、挑战、缺口、直觉、提案)五元组,并以 2026-01-01 为截止线,用截止后 14,977 篇方法论文中的 277 篇做留出测试。在 Qwen3.6-27B 上,IdeaScientist 总分 74.6%,比最强开源 autoresearch 基线高 14.0%,优势主要来自新颖性;在同一开放骨干上还超过 Claude Code SDK(Claude-4.8-Opus)5.9%、Codex SDK(GPT-5.4)5.1%。

Jiarui Liu, Renjie Tao, Yiwei Liao · 621次阅读 · 2026年10月2日
AI ScientistLLM智能体
2026年10月2日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。