AI-Researcher 创新图构建：基于多维影响评分的论文引用影响力评估（Step 4）实战指南

人工智能大模型AI Agent自主智能体深度研究Agent 工作流科研AI 评测【免费下载链接】AI-Researcher[NeurIPS2025] AI-Researcher: Autonomous Scientific Innovation -- A production-ready version: https://novix.science/chat项目地址https://gitcode.com/GitHub_Trending/aire/AI-Researcher点击查看免费下载在 AI-Researcher 的创新基准数据集构建流程中benchmark_collection/prompts/create_innovation_graph_instruction_step4.md定义了五步流水线中最关键的**影响评分Impact Scoring**环节通过引用频次、引用位置、讨论深度与直接影响力四个维度为论文的每条参考文献量化打分从而筛出一篇论文真正的奠基性引用。本文以该指令文件为核心结合 1_create_inno_graph.py 的源码实现讲解评分维度的含义、JSON 输出格式、与前后步骤的衔接方式以及如何在仓库中完整复现这套创新图构建流程。Step 4 在创新图流水线中的位置构建创新基准数据集的目标是为一篇目标论文识别出最具影响力的参考文献并标注它们对目标论文的方法论奠基、组件复用与概念启发作用。仓库中的完整流程由 5 个提示词步骤驱动见 prompts 目录步骤指令文件作用Step 1create_innovation_graph_instruction_step1.md引用模式分析统计引用频次、分布章节列出至少 15 篇高频引用论文Step 2create_innovation_graph_instruction_step2.md上下文分析识别based on / extends等影响指标评估讨论深度与方法相关性Step 3create_innovation_graph_instruction_step3.md证据收集记录借用的概念/方法、被如何修改、影响证据归类为 foundation / component / inspirationStep 4create_innovation_graph_instruction_step4.md影响评分按四个维度量化每条参考文献的影响力Step 5create_innovation_graph_instruction_step5.md最终筛选按评分排序选出 Top 15–25 篇最有影响力论文并给出论证从 load_instructions() 可以看到这 5 个步骤指令与 2 个附加任务指令task1/task2被统一加载并在 process_paper() 中按 1→5 顺序逐步骤执行每一步的 LLM 输出都会作为下一步的输入上下文previous_results。Step 4 之所以关键是因为它把 Step 1–3 积累的定性观察频次、上下文、证据转化为可排序的定量分数直接决定 Step 5 中 Top 论文的最终名次。四维评分体系详解Step 4 指令要求对每条参考文献按以下四个维度打分权重依次为 30% / 25% / 25% / 20%引用频次Citation frequency30%一篇参考文献在正文中被引用的次数是影响力的最直接信号。Step 1 的citation_map已经完成了频次统计Step 4 将其映射为 0–100 量纲的分数。权重最高30%意味着在正文中被反复提及、跨章节出现的论文大概率是研究的基础设施级引用。位置重要性Location importance25%并非所有引用位置都等价。位于 Introduction 与 Related Work 的引用通常只提供背景而出现在Methodology / 核心公式推导 / Experiments 对比基线中的引用往往直接支撑了方法设计与性能验证。Step 1 输出的sections字段引用所在章节列表正是本维度打分的依据。讨论深度Discussion depth25%评估正文对这篇引用论文的讨论有多深入是仅一句带过还是展开了详细的对比、改进说明。Step 2 输出的depth字段detailed / moderate / brief与本维度直接对应而indicatorsbased on、extends 等短语则为深度判断提供语言线索。直接影响力Direct influence20%衡量该引用是否对目标论文产生了实质性的技术影响——例如其方法被直接采用、被改造后集成、或塑造了研究方向的选取。Step 3 的evidence字段borrowed借用了哪些元素、changes做了哪些修改、type属于 foundation / component / inspiration为这一维度提供了最有力的证据支撑。四个维度合计权重 100%total即为加权综合分。整套评分维度与 create_innovation_graph_instruction_overall.md 中定义的三类判断标准Methodological Foundation、Critical Components、Conceptual Inspiration形成呼应方法奠基类引用通常频次高、位于方法章节组件复用类引用在讨论深度与直接影响力上更突出。输出 JSON 格式与字段约定Step 4 要求 LLM 严格按照如下 JSON 结构返回评分结果{ scores: [ { reference: the exact paper title in references, total: number, breakdown: { frequency: number, location: number, depth: number, influence: number } } ] }字段约定说明reference必须使用参考文献列表中逐字一致的论文标题。这一点在后续步骤中会被严格依赖——Step 5 的top_papers与最终source_papers都以该字段作为主键。total四个维度的加权综合分供 Step 5 排序使用。breakdown四个子维度的单独分数保留透明度便于人工核验高分从何而来。源码侧的实现机制提示词组装与 JSON 解析process_step() 负责把 Step 4 的指令文件与论文内容组装成一次完整 LLM 调用将overall指令、step4指令、论文元数据Paper Metadata与 PDF 全文Paper Content拼接为提示词追加 Step 1–3 的 JSON 结果Results from previous steps使评分建立在前期分析之上用truncate_text(prompt, max_tokens128000)控制上下文长度见 utils/pdf_utils.py设置系统提示要求以指令中规定的 JSON 格式精确返回剥离可能的json代码块包裹后用json.loads()解析解析失败即视为该步骤失败并触发重试。失败重试与断点续跑process_paper() 为每个步骤配置了最多 3 次重试失败后按(attempt1)*5秒递增等待同时整个流程依托 main() 中的断点机制checkpoints/processed_papers.json支持中断后续跑并每成功处理一篇论文就即时写盘innovation_graph/innovation_graph.json。评分结果的去向Step 5 与最终数据集Step 4 的scores数组会随previous_results传入 Step 5。Step 5 依据total排序选出 Top 15–25 篇论文并为每篇填写rank、type、justification评分依据的详细论证与usage目标论文如何使用了该引用最终汇总为每篇目标论文的source_papers字段。你可以直接查看仓库已有的输出样例 innovation_graph.json 验证实际效果——例如其中对 Heterogeneous Graph Contrastive Learning for Recommendation 的分析就把 Sequential recommendation with graph neural networks.方法论奠基排在 rank 1把 BPR: Bayesian personalized ranking from implicit feedback.损失函数来源排在 rank 2完整呈现了评分→排序→论证的链路。端到端复现流程如需在仓库中完整复现包括 Step 4 在内的创新图构建流程按 readme.md 说明执行在papers_to_search文件中填写目标论文标题或关键词列表运行python 0_crawl_paper.py收集论文 PDF 与元数据若按关键词收集需将0_crawl_paper.py中的exact_match改为False运行python 1_create_inno_graph.py生成最终创新数据集。运行前需配置 OpenAI 密钥设置全局环境变量OPENAI_API_KEY可选API_BASE_URL或在 utils/openai_utils.py 中直接指定。默认模型为gpt-4o-mini-2024-07-18客户端内置基于backoff的指数退避重试可应对限流、超时与连接异常。最终结果保存在innovation_graph/innovation_graph_final.json已通过 anonymize_paper() 匿名化目标模型名并经 filter_self_references() 剔除自我引用仓库评测实际使用的版本为经过人工修订的merged_papers_with_fields.json。小结Step 4 影响评分是 AI-Researcher 创新图构建流水线的定量化枢纽它以 30% 引用频次、25% 位置重要性、25% 讨论深度、20% 直接影响力的加权方案把引用模式的统计事实转化为可排序的影响力分数再交由 Step 5 完成 Top 论文筛选与论证。理解并正确执行这一步骤是获得高质量创新基准数据source_papers关系集合的前提也是后续匿名化、自引用过滤等数据治理环节正常工作的基础。赞分享人工智能大模型AI Agent自主智能体深度研究Agent 工作流科研AI 评测【免费下载链接】AI-Researcher[NeurIPS2025] AI-Researcher: Autonomous Scientific Innovation -- A production-ready version: https://novix.science/chat项目地址https://gitcode.com/GitHub_Trending/aire/AI-Researcher点击查看免费下载相关推荐Ascend TensorFlow Adapter API详解核心接口与使用示例大全Ascend TensorFlow Adapter API详解核心接口与使用示例大全 Ascend TensorFlow Adapter 是华为昇腾AI人工智能深度学习CANN终极指南如何利用ChatPaper AI精准预测研究论文的潜在引用量终极指南如何利用ChatPaper AI精准预测研究论文的潜在引用量 在科研竞争日益激烈的今天每一位研究者都希望自己的论文能够获得更多关注和引用。ChatPAI 应用大模型人工智能如何快速上手FastDeploy5分钟部署你的第一个AI模型如何快速上手FastDeploy5分钟部署你的第一个AI模型 FastDeploy是一个简单易用且高效的深度学习模型部署工具包支持云、移动端和边缘设备涵盖人工智能大模型模型推理服务推理引擎模型量化强化学习本地部署上一篇如何安全解锁Switch高级功能零基础玩家的大气层系统定制指南下一篇DCNv4社区贡献指南如何参与开源项目并提交PR创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考