AI资讯日报自动化实战：信息聚合、去重筛选与摘要生成全流程

1. 从一份日报标题说起AI资讯聚合背后的信息焦虑与破局思路每天早上打开手机AI相关的推送少说几十条多则上百条。大模型又发新版本了某智能体框架开源了某公司融资几个亿某团队公开了训练新方法……信息像洪水一样涌过来但真正能沉淀下来、对实际工作有帮助的可能不到十分之一。我做AI资讯整理这件事已经有一年多从最开始手动刷各种渠道到后来搭建半自动化的聚合流程踩过的坑比想象中多得多。这篇内容就围绕“AI最新资讯日报”这个项目把整套思路、工具选型、实操细节和长期运营经验完整拆开讲一遍。所谓AI资讯日报本质上是一个信息聚合与筛选系统。它的核心目标不是把所有新闻都堆给读者而是从海量噪音中提取出真正有价值的信号按主题分类、按重要程度排序最终以结构化的形式呈现。这件事听起来简单做起来涉及信息源管理、去重策略、分类逻辑、摘要生成、排版输出等多个环节。适合谁来参考如果你是AI从业者、技术博主、投资分析师或者只是想在团队内部做技术分享的人这套方法都能直接复用。哪怕你完全不懂编程也可以用低代码工具搭出一个可用的版本。我做这个日报的初衷很实际团队每周有技术例会需要有人同步行业动态。最开始我手动整理每次花两三个小时还经常漏掉重要信息。后来逐步把流程自动化现在每天维护成本控制在二十分钟以内信息覆盖率反而更高了。下面就把这套东西从头到尾讲清楚。2. 资讯日报的整体架构设计为什么这样搭而不是那样搭2.1 核心需求拆解与方案选型逻辑做任何自动化系统之前先把需求拆干净。AI资讯日报的核心需求可以归纳为四条信息源覆盖要广、去重和筛选要准、分类和摘要要快、输出格式要统一。这四条需求决定了整个系统的架构方向。信息源覆盖方面我最初想的是“越多越好”后来发现完全不是这么回事。信息源的质量比数量重要得多。我的做法是把信息源分成三个层级一级源是官方渠道比如各大AI公司的博客、官方公告、GitHub趋势榜二级源是行业媒体和社区比如技术论坛、开发者社区的热门讨论三级源是社交媒体上的碎片信息这部分只作为补充不作为主要依据。为什么要这样分层因为一级源的信息准确度最高但更新频率低三级源更新快但噪音大分层管理可以在保证准确性的前提下兼顾时效性。去重和筛选这块我试过纯人工、纯自动、以及人机结合三种模式。纯人工太慢纯自动误判率高最终选择的是“自动初筛人工复核”的方案。自动初筛用关键词匹配和相似度计算做第一轮过滤人工复核只针对边界情况做判断。这个方案的好处是既保证了效率又不会因为算法误判漏掉重要信息。分类和摘要环节我一开始想用大模型全自动生成实测下来发现两个问题一是分类粒度不好控制模型有时候把“大模型微调”和“大模型部署”混在一起二是摘要容易丢失关键数据比如融资金额、参数规模这些数字经常被概括掉。后来改成“规则分类模型摘要人工校验”的组合方案分类用预设的标签体系摘要用模型生成初稿再人工调整准确率明显提升。输出格式方面我坚持用Markdown。原因很简单Markdown通用性强可以一键转换成网页、PDF、公众号格式而且版本管理方便用Git做追踪毫无压力。表格用来做对比分析列表用来列关键点引用块用来标注重要提示整个排版清晰但不花哨。2.2 信息源分层管理与采集策略信息源的采集策略直接决定了日报的质量上限。我目前维护的信息源清单大概有六十多个但每天实际抓取的只有三十个左右因为有些源更新频率太低没必要每天查。具体来说我把信息源按更新频率和重要程度做了矩阵分类信息源类型更新频率重要程度采集策略官方博客/公告低极高每天定时检查有新内容立即收录GitHub趋势榜高高每天抓取两次取增量技术社区热帖高中每天抓取一次按热度筛选行业媒体中中高每天抓取一次按关键词过滤社交媒体极高低每周抽查仅作补充这个矩阵不是拍脑袋定的是跑了三个月之后根据实际数据调整出来的。比如最开始我把社交媒体也放在每天抓取的列表里结果每天产生大量无效信息筛选成本极高。后来改成每周抽查反而能从里面发现一些被主流媒体忽略的小众项目。采集工具方面我用的是Python脚本配合RSS订阅和网页抓取。RSS的好处是稳定、结构化缺点是很多平台已经不提供RSS了。对于没有RSS的源我用网页抓取补充但会控制频率避免对目标站点造成压力。这里有个经验抓取频率不要太高尊重目标站点的服务条款否则容易被封IP。我一般把抓取间隔设置在几秒到几十秒之间具体看站点规模。2.3 去重与筛选的规则设计去重是资讯聚合里最容易被低估的环节。同一个新闻可能有五六个渠道都在发如果不做去重日报里会出现大量重复内容。我的去重策略分两步第一步是URL去重同一个链接只保留一次第二步是内容相似度去重用文本相似度算法判断两条信息是否在讲同一件事。URL去重比较简单维护一个已收录链接的集合就行。内容相似度去重稍微复杂一些我用的是基于词频的余弦相似度算法阈值设在0.75左右。这个阈值是调出来的设太高会漏掉一些改写过标题的重复内容设太低会把不同但相关的新闻误判为重复。0.75这个值在我目前的信息源组合下表现比较均衡。筛选规则方面我设了三层过滤第一层是关键词白名单只有包含特定关键词的信息才会进入候选池比如“大模型”“智能体”“开源”“融资”这些第二层是来源权重一级源的信息直接进入候选池二级源需要满足热度阈值三级源需要人工推荐第三层是人工复核对边界情况做最终判断。这里有个细节值得展开关键词白名单不是一成不变的。AI领域新概念层出不穷今天的热词明天可能就过时了。我每个月会回顾一次关键词列表把过时的词去掉把新出现的词加进来。比如“智能体”这个词半年前还只是偶尔出现现在已经成了高频词必须放在白名单里。3. 核心环节实操从原始信息到成品日报的完整流程3.1 信息采集脚本的搭建与配置信息采集是整个流程的起点也是最需要稳定性的环节。我用Python写了一个采集脚本核心逻辑是遍历信息源列表逐个抓取内容解析出标题、链接、发布时间、正文摘要等字段然后存入本地数据库。数据库用的是SQLite轻量、免配置对于个人项目来说完全够用。脚本的关键配置项包括请求头设置、超时时间、重试策略、抓取间隔。请求头要模拟正常浏览器访问否则很多站点会直接拒绝。超时时间我设的是10秒超过就放弃避免卡住整个流程。重试策略是失败后等3秒重试一次最多重试两次。抓取间隔根据站点不同有所调整一般设在2到5秒之间。import requests import time import sqlite3 from bs4 import BeautifulSoup HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } def fetch_page(url, timeout10, retries2): for i in range(retries 1): try: resp requests.get(url, headersHEADERS, timeouttimeout) resp.raise_for_status() return resp.text except requests.RequestException as e: if i retries: time.sleep(3) else: print(f抓取失败: {url}, 错误: {e}) return None def parse_article(html, source_name): soup BeautifulSoup(html, html.parser) title soup.find(h1) title title.get_text(stripTrue) if title else 无标题 paragraphs soup.find_all(p) content .join([p.get_text(stripTrue) for p in paragraphs[:5]]) return { source: source_name, title: title, content: content[:500], fetch_time: time.strftime(%Y-%m-%d %H:%M:%S) }这段代码是采集脚本的核心骨架实际使用中还需要根据每个站点的HTML结构做适配。我的做法是把解析规则单独抽出来每个信息源对应一个解析函数这样新增信息源的时候只需要加一个函数不用改主流程。注意网页抓取一定要控制频率不要对目标站点造成压力。我一般会在脚本里加一个全局的请求间隔计数器确保任意两次请求之间至少间隔2秒。3.2 内容清洗与结构化处理抓取到的原始内容往往很脏有HTML标签残留、有广告文本、有无关的导航信息。内容清洗的目标是把这些噪音去掉只保留正文和关键元数据。我的清洗流程分四步去HTML标签、去广告和导航文本、截取正文核心段落、提取关键实体。去HTML标签用BeautifulSoup就能搞定但要注意保留段落结构不能把所有标签都删掉变成一坨文字。我的做法是保留p、h2、h3这些结构性标签把script、style、nav、footer这些非内容标签整体删除。去广告和导航文本这块我用的是规则匹配加长度过滤。规则匹配是维护一个广告关键词列表包含这些词且长度较短的段落直接丢弃。长度过滤是只保留超过50个字符的段落因为广告和导航文本通常很短。提取关键实体是结构化处理的核心。我用的是正则表达式加词典匹配的方式提取公司名、产品名、金额、日期、技术术语等实体。比如融资金额通常出现在“融资”“轮”“亿”“万”这些词附近用正则表达式可以比较准确地抓出来。import re def extract_entities(text): entities {} # 提取金额 money_pattern r(\d(?:\.\d)?)\s*(亿|万|百万|千万) entities[money] re.findall(money_pattern, text) # 提取日期 date_pattern r(\d{4}[-/年]\d{1,2}[-/月]\d{1,2}) entities[date] re.findall(date_pattern, text) # 提取技术术语 tech_terms [大模型, 智能体, 开源, 微调, 推理, 多模态] entities[tech] [t for t in tech_terms if t in text] return entities实体提取的准确率不可能做到百分之百但能覆盖大部分关键信息。我的经验是不要追求完美够用就行。提取出来的实体主要用于辅助分类和摘要最终判断还是靠人工。3.3 分类体系与标签设计分类体系是日报的骨架。没有清晰的分类读者看到的就是一堆杂乱的信息。我的分类体系经过三次迭代目前稳定在六个主类目下模型与算法、智能体与框架、开源项目、融资与商业、工具与部署、行业观点。每个主类目下面还有子标签。比如“模型与算法”下面有“新模型发布”“训练方法”“微调技术”“推理优化”等子标签。“智能体与框架”下面有“智能体开发”“多智能体协作”“框架更新”等。子标签的作用是让分类更精细方便读者快速定位自己关心的内容。分类的实现方式是“规则优先模型兜底”。规则优先是指用关键词匹配做第一轮分类比如标题里出现“开源”就归到开源项目类出现“融资”就归到融资与商业类。模型兜底是指对于规则无法判断的内容用大模型做分类提示词里给出类目定义和示例让模型输出最匹配的类目。这里有个经验分类标签不要设太多超过十个读者就记不住了。我最初设了二十多个标签后来精简到六个主类目加十五个子标签阅读体验明显提升。3.4 摘要生成与人工校验摘要生成是日报里最耗时的环节也是最需要人工介入的环节。我试过三种方案纯人工写摘要、模型直接生成摘要、模型生成初稿人工调整。第一种太慢第二种质量不稳定第三种是最终采用的方案。模型生成摘要的提示词很关键。我的提示词模板是这样的请为以下AI资讯生成一段不超过100字的摘要要求 1. 保留关键数据金额、参数规模、时间节点 2. 突出核心动作发布、开源、融资、更新 3. 语言简洁不要评价性表述 4. 如果涉及技术细节用通俗语言解释 原文{content}这个提示词的关键在于“保留关键数据”和“不要评价性表述”。前者确保摘要不丢失重要信息后者避免模型加入主观判断。实测下来这个提示词生成的摘要质量比较稳定人工只需要做微调。人工校验的重点是三个方面数据准确性、分类合理性、表述中立性。数据准确性是核对金额、参数等数字是否与原文一致。分类合理性是判断这条信息是否放在了正确的类目下。表述中立性是检查有没有带倾向性的表述。这三项检查做完一条信息才算最终入库。提示模型生成的摘要一定要人工过一遍尤其是涉及具体数字的地方。我遇到过模型把“10亿参数”写成“100亿参数”的情况这种错误如果发出去会很尴尬。4. 常见问题与排查技巧实录4.1 信息源失效与抓取异常处理信息源失效是资讯聚合里最常见的问题。站点改版、RSS地址变更、反爬策略升级都会导致抓取失败。我的处理流程是先自动重试再标记异常最后人工检查。自动重试是在脚本层面做的失败后等几秒重试最多两次。如果两次都失败就把这个源标记为“异常”当天不再抓取避免浪费时间。人工检查是每天花几分钟看一下异常列表判断是临时故障还是永久失效。临时故障下一天会自动恢复永久失效就需要更新抓取规则或替换信息源。我维护了一个信息源健康度表格记录每个源的最近成功抓取时间、失败次数、平均响应时间。这个表格帮我快速定位问题源。比如某个源连续三天失败基本可以判断是永久失效了需要替换。问题类型表现排查方法解决方案站点改版解析结果为空检查HTML结构是否变化更新解析规则反爬升级返回403或验证码检查请求头和频率降低频率或更换采集方式RSS失效订阅地址返回404检查RSS地址寻找新的RSS地址或改用网页抓取网络波动超时或连接失败检查网络连接重试或稍后再试4.2 重复内容与相似新闻的识别技巧重复内容有两种情况完全重复和改写重复。完全重复是同一个链接被多个源收录这个用URL去重就能解决。改写重复是同一个事件被不同媒体用不同标题报道这个需要用内容相似度来识别。我的相似度识别流程是先把所有候选信息按标题分词计算词频向量然后两两计算余弦相似度。相似度超过0.75的归为一组每组只保留来源权重最高的那条。这个流程跑一遍大概需要几秒钟对于每天几十条信息的规模来说完全够用。这里有个坑有些新闻标题相似但内容完全不同。比如“某公司发布新模型”和“某公司发布新融资”标题结构相似但讲的是两件事。为了避免误判我在相似度计算之前会先做一次实体提取如果两条信息的核心实体公司名、产品名不同就直接判定为不同新闻不进入相似度比较。4.3 分类边界模糊时的处理策略分类边界模糊是分类环节最头疼的问题。比如“某开源项目发布了新版本增加了智能体功能”这条信息应该归到“开源项目”还是“智能体与框架”我的处理原则是看核心动作。如果核心动作是“发布新版本”归到开源项目如果核心动作是“增加智能体功能”归到智能体与框架。实际操作中我会给每条信息打一个主标签和一个副标签。主标签决定它放在哪个类目下副标签用于交叉检索。这样既保证了分类的清晰性又不会丢失信息的关联性。还有一个技巧是维护一个边界案例库。每次遇到难以分类的信息就把案例和最终判断记录下来。积累多了之后这些案例可以作为分类规则的补充也可以用来训练分类模型。我的边界案例库现在有五十多条记录覆盖了大部分常见的模糊情况。4.4 日报排版与可读性优化排版直接影响阅读体验。我见过很多资讯日报内容不错但排版混乱读者根本看不下去。我的排版原则是层次分明、重点突出、留白充足。层次分明是指用标题层级把内容组织清楚。一级标题是日期和总览二级标题是各个类目三级标题是具体条目。重点突出是指用加粗标注关键信息比如公司名、产品名、金额。留白充足是指段落之间要有空行不要挤在一起。具体到Markdown格式我的模板是这样的## 日报日期2026-09-23 ### 模型与算法 - **某公司发布新模型**参数规模XX亿支持多模态输入。摘要内容... - **某团队公开训练方法**该方法通过XX技术降低了训练成本。摘要内容... ### 智能体与框架 - **某框架更新**新增XX功能支持XX场景。摘要内容...这个模板简单但有效。每条信息控制在两到三行读者扫一眼就能抓住重点。如果某条信息特别重要我会在前面加一个标记比如“重点”或“推荐”。注意排版不要过度设计。我试过加各种图标和颜色后来发现反而干扰阅读。简洁的Markdown格式最实用也最容易适配不同平台。5. 长期运营的经验沉淀与效率提升5.1 信息源动态维护与质量评估信息源不是一成不变的。AI领域变化快新的信息源不断出现旧的信息源可能逐渐失效或质量下降。我每个月会做一次信息源回顾评估每个源的更新频率、内容质量、与日报定位的匹配度。评估方法是给每个源打分满分十分。更新频率占三分内容质量占四分匹配度占三分。总分低于六分的源会被标记为“观察”连续两个月低于六分就移除。这个机制保证了信息源列表的活力。新增信息源的渠道主要有三个读者推荐、同行交流、主动搜索。读者推荐是最有价值的来源因为推荐者通常对某个细分领域有深入了解。同行交流也能发现一些优质的小众源。主动搜索是补充手段用关键词在搜索引擎里找相关站点。5.2 自动化程度与人工投入的平衡自动化程度不是越高越好。我试过全自动方案结果发现两个问题一是误判率高需要花更多时间纠错二是日报变得千篇一律缺乏人工判断带来的独特视角。后来我把自动化程度控制在百分之七十左右保留百分之三十的人工介入。人工介入主要集中在三个环节边界案例判断、摘要润色、重点推荐。这三个环节是自动化难以替代的也是日报价值的核心来源。我的时间分配大概是采集和清洗全自动分类和摘要半自动最终审核和推荐全人工。这样每天投入二十分钟左右产出质量稳定。5.3 读者反馈驱动的迭代方向读者反馈是迭代的重要依据。我每期日报末尾都会留一个反馈入口收集读者的意见和建议。反馈主要集中在三个方面内容覆盖面、摘要详细程度、分类合理性。内容覆盖面方面有读者希望增加某个细分领域的内容我就会去找对应的信息源。摘要详细程度方面有读者觉得太简略有读者觉得太冗长我的做法是提供两个版本简版每条一句话详版每条三到五句话。分类合理性方面有读者建议合并某些类目有读者建议拆分某些类目我会根据反馈频率决定是否调整。这里有个经验不要盲目迎合所有反馈。有些反馈是个性化需求不代表普遍问题。我的判断标准是如果同一个问题被三个以上读者提到就值得认真考虑如果只有一个人提先记录下来观察。5.4 从日报到知识库的延伸思路日报做久了积累的数据越来越多自然就想到能不能把这些数据用起来。我目前的延伸方向是构建一个AI领域的知识库把日报里的信息按主题、时间、实体等维度重新组织支持检索和关联分析。知识库的核心是实体关系图谱。每条信息提取出的公司、产品、技术、人物等实体作为图谱的节点实体之间的关联作为图谱的边。比如“某公司发布了某模型”这条信息会在图谱里建立“公司-发布-模型”的关系。积累多了之后就可以做很多有意思的分析比如某个技术方向的演进脉络、某个公司的产品布局等。这个方向还在探索阶段目前只是把数据存下来还没有做复杂的分析。但我觉得这是日报项目最有价值的延伸方向因为它把一次性的信息消费变成了可复用的知识资产。最后分享一个小技巧日报的标题不要只写日期加上当天最重要的一个关键词。比如“2026-09-23 AI日报某公司开源新模型”。这样读者扫一眼标题就知道今天有没有自己关心的内容打开率会明显提升。这个技巧是我试了三个月之后发现的简单但有效。