用Python和RSS构建个人新闻聚合与质量过滤工具，对抗信息降级

这几年在做技术内容时，我发现自己对“信息”的感知正在变钝。打开手机，推送的新闻好像永远都刷不完；关掉屏幕，却想不起今天真正吸收了哪几条信息。很多文章标题越来越夸张，正文越来越薄，真正经得起推敲的事实越来越少。这种现象不只是审美层面的下降，更值得警惕的是“新闻降级”——我们的信息环境正在悄悄变差。

作为一名经常要和新技术、新框架打交道的开发者，信息的质量直接影响技术判断的正确性。与其被动接受算法投喂，不如主动搭建一套属于自己的信息获取系统。这篇文章会从“新闻降级”的现象出发，结合 RSS、信息源分级、过滤规则等技术手段，完整演示如何构建一个个人新闻聚合与质量过滤工具。整个过程不需要复杂的服务端架构，一个 Python 脚本加简单配置就能跑起来。

1. 什么是“新闻降级”：从信息焦虑到信息过载

1.1 新闻降级与技术信息消费的关系

“新闻降级”不是一个严谨的学术术语，但它描述了一种很常见的体验：信息的绝对数量在增长，信息的有效密度却在下降。

过去获取新闻的渠道相对固定，编辑、记者、审稿人构成了内容质量的把关链条。如今算法推荐成为主要分发方式后，流量取代了事实核查，情绪冲突取代了背景分析，碎片化取代了完整性。我们会刷到大量“看起来很重要”的内容，但真正能帮助理解世界的长文、深度报道、一手资料反而更难被看见。

技术领域同样存在这个问题。搜索引擎返回的结果里充斥着 SEO 拼凑文，技术社区里复制粘贴的“教程”经常缺少版本说明，很多博客文章的代码根本无法运行。如果一个开发者长期依赖这些低质量信息源，技术判断力会被慢慢侵蚀。

1.2 为什么技术手段可以对抗降级

面对信息环境的变化，个人能做的不是卸载所有 App，也不是彻底放弃算法，而是通过技术手段重建信息筛选的主动权。

核心思路是：把“平台分发”替换为“自主订阅”，把“全量接收”替换为“规则过滤”。具体来说，就是通过 RSS 订阅高质量来源，用程序对内容进行打分、去重、关键词过滤、时效性判断，最终只保留值得阅读的内容。这套方案的好处在于：

• 信息源由你决定，不依赖推荐算法。
• 过滤规则透明可控，可以随时调整。
• 所有内容统一聚合，不需要在多个 App 之间来回切换。
• 整个过程可以自动化，适合长期维护。

对于开发者来说，这既是一次信息管理方法的升级，也是一个不错的 Python 实战项目。

2. 核心概念：信息源、RSS、过滤规则

2.1 RSS 与开放信息流

RSS（Really Simple Syndication，简易信息聚合）是一种 Web 内容分发格式。网站将更新内容生成 XML 文件，用户通过 RSS 阅读器订阅这个地址，就能在统一界面中查看更新。

RSS 的价值在于开放和可控。你不受平台推荐逻辑的限制，想看什么就订阅什么；内容以结构化形式呈现，方便程序解析和处理。虽然 RSS 已经不再是主流互联网产品的主推功能，但大量技术博客、学术期刊、开源项目发布页面、部分新闻网站仍然保留着 RSS 输出，这是搭建个人信息系统的良好基础。

2.2 信息源分级

高质量的信息系统首先要解决“从哪里读”的问题。与其订阅几百个来源制造新的信息过载，不如对信息源做分级管理。

可以把信息来源分为三个层级：

分级之后，过滤规则也可以按层级差异化配置。一级来源可以降低过滤门槛，三级来源需要更严格的筛选条件。

2.3 规则过滤而不是关键词堆砌

很多人一提到信息过滤就想到“屏蔽关键词”。这种做法问题很大：关键词列表越加越长，误杀率越来越高，最后要么漏掉重要信息，要么把所有内容都过滤光了。

更合理的做法是设计一套评分机制。每条内容根据来源权重、标题命中、正文摘要命中、作者可信度、时效性等因素获得一个综合分，超过阈值的才进入阅读列表。这样既能保留多元化内容，又不必维护一份庞大而脆弱的黑白名单。

3. 环境准备与项目结构

3.1 运行环境和依赖

本文以 Python 3 为例，核心依赖只需要两个：

• feedparser：负责解析 RSS/Atom 内容。
• PyYAML：负责读取配置文件。

pip install feedparser PyYAML

版本需要根据你的项目实际情况调整，本文示例以常见环境为例，重点演示配置思路。建议使用虚拟环境隔离项目依赖：

python -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate pip install feedparser PyYAML

3.2 项目目录结构

整个项目不需要引入重型框架，一个清晰的目录结构可以提高可维护性。

news_filter/ ├── config.yaml # 信息源与过滤规则配置 ├── requirements.txt # 依赖清单 ├── main.py # 主程序 └── output/ └── report.md # 生成的阅读报告

3.3 配置设计

配置文件是整个工具的核心，设计好不好直接影响使用体验。下面是一个最小可用的config.yaml：

# 信息源列表 sources: - name: "示例技术博客" url: "https://example.com/feed.xml" weight: 1.5 - name: "示例新闻站" url: "https://example-news.com/rss" weight: 1.0 # 过滤规则 rules: # 白名单关键词，命中后加分 include_keywords: - "Python" - "开源" - "架构" # 黑名单关键词，命中后扣分或直接排除 exclude_keywords: - "广告" - "抽奖" # 内容最大保留天数，超过则丢弃 max_age_days: 7 # 综合分阈值，低于则不输出 min_score: 2.0

这里的关键是weight字段。不同来源的权威程度不同，给一级来源更高的权重，可以让评分结果更合理。

4. 完整实战：构建个人新闻聚合过滤器

4.1 创建项目结构

先在本地创建项目目录：

mkdir news_filter cd news_filter mkdir output

然后创建requirements.txt：

feedparser==6.0.11 PyYAML==6.0.1

安装依赖：

pip install -r requirements.txt

4.2 编写 RSS 抓取模块

主程序main.py会拆成几个函数，分别负责配置读取、抓取、过滤、输出。先看完整的程序实现：

# 文件路径：news_filter/main.py import time import yaml import feedparser from datetime import datetime, timezone from pathlib import Path def load_config(path="config.yaml"): """读取配置文件""" with open(path, "r", encoding="utf-8") as f: return yaml.safe_load(f) def fetch_feed(source): """抓取单个 RSS 源，返回条目列表""" feed = feedparser.parse(source["url"]) entries = [] for entry in feed.entries: entries.append({ "title": entry.get("title", ""), "link": entry.get("link", ""), "summary": entry.get("summary", ""), "author": entry.get("author", ""), "published": entry.get("published_parsed", None), "source": source["name"], "weight": source.get("weight", 1.0), }) return entries def is_within_time_window(entry, max_age_days): """判断条目是否在时间窗口内""" if not entry["published"]: return True published = datetime(*entry["published"][:6], tzinfo=timezone.utc) diff = datetime.now(timezone.utc) - published return diff.days <= max_age_days def score_entry(entry, rules): """对条目进行综合评分""" score = 0.0 text = f"{entry['title']} {entry['summary']}" for keyword in rules.get("include_keywords", []): if keyword.lower() in text.lower(): score += 1.0 for keyword in rules.get("exclude_keywords", []): if keyword.lower() in text.lower(): score -= 3.0 score += entry["weight"] return score def filter_entries(all_entries, rules): """过滤并排序条目""" filtered = [] max_age_days = rules.get("max_age_days", 7) min_score = rules.get("min_score", 2.0) for entry in all_entries: if not is_within_time_window(entry, max_age_days): continue entry["score"] = score_entry(entry, rules) if entry["score"] >= min_score: filtered.append(entry) filtered.sort(key=lambda x: x["score"], reverse=True) return filtered def render_report(filtered, output_path="output/report.md"): """生成 Markdown 阅读报告""" lines = [ "# 今日阅读报告", "", f"生成时间：{datetime.now().strftime('%Y-%m-%d %H:%M:%S')}", "", f"共筛选出 {len(filtered)} 条内容", "", ] for entry in filtered: lines.append(f"## {entry['title']}") lines.append("") lines.append(f"- 来源：{entry['source']}") lines.append(f"- 得分：{entry['score']:.1f}") if entry.get("author"): lines.append(f"- 作者：{entry['author']}") lines.append(f"- 链接：{entry['link']}") lines.append("") output = Path(output_path) output.parent.mkdir(parents=True, exist_ok=True) output.write_text("\n".join(lines), encoding="utf-8") print(f"报告已生成：{output_path}") def main(): config = load_config() all_entries = [] for source in config["sources"]: print(f"正在抓取：{source['name']}") try: all_entries.extend(fetch_feed(source)) except Exception as e: print(f"抓取失败：{source['name']}，错误：{e}") time.sleep(1) filtered = filter_entries(all_entries, config["rules"]) render_report(filtered) if __name__ == "__main__": main()

4.3 代码说明

下面把关键函数逐一解释一下。

fetch_feed函数接收一个 source 字典，调用feedparser.parse()拉取并解析 RSS。解析结果中包含entries列表，每条 entry 是文章节点。这里提取了标题、链接、摘要、作者、发布时间等基础信息，并把weight写入条目，方便后续评分时使用。

score_entry函数实现了评分逻辑。初始化分数为 0，遍历白名单关键词，命中一次加 1 分；遍历黑名单关键词，命中一次扣 3 分；最后再加上来源权重。这样设计的好处是：一个来自高权重来源的普通文章，即使没有命中关键词，也能获得基础分；而命中黑名单的内容，即使来源很好，也会被显著拉低分数。

filter_entries函数负责执行过滤并排序。它先判断时间窗口，再计算分数，最后按分数从高到低排列。这样每天打开报告时，最重要的内容一定排在前面。

render_report函数将过滤后的内容输出为 Markdown 文件。输出格式清晰，方便在任意 Markdown 编辑器中阅读，也可以配合定时任务生成每日报告。

4.4 运行与验证

先用config.yaml配置一个可用的信息源。如果你本地有一份 RSS 地址，可以替换成自己的；没有的话，可以先使用官方文档的变更日志 Feed 作为演示。

运行主程序：

python main.py

正常情况下，控制台会输出：

正在抓取：示例技术博客 正在抓取：示例新闻站 报告已生成：output/report.md

查看output/report.md，可以看到筛选后的内容列表。整个过程不需要打开浏览器，不需要登录任何平台，所有数据都在本地处理。

4.5 结果说明

这个工具的产出并不只是一个文件，而是一套可调整的信息筛选流程。

• 如果发现过滤后的内容太多，可以调高min_score或增加include_keywords的匹配权重。
• 如果发现重要内容被过滤掉了，先检查白名单关键词是否合理，再看来源权重是否太低。
• 如果发现过期内容频繁出现，可以缩短max_age_days。

规则和参数不是一成不变的，需要根据真实内容反馈定期调整。

5. 进阶：如何维护一套可持续的高质量信息源

5.1 源质量评估维度

搭建工具只是第一步，长期使用后你会发现，真正决定信息质量的其实是“源”的质量。以下几种情况说明信息来源需要调整：

• 内容更新频率异常高但有效信息少，可能是来源已经低质化。
• 某个来源长期没有输出，可能已经停止维护。
• 内容越来越多地依赖转载和洗稿，说明原创能力在下降。

评估一个信息源是否值得保留，可以从三个维度判断：原创比例、信息增量、与自身主题的相关性。原创比例高、能提供一手中文资料或英文资料、内容对技术判断有帮助的源，优先级应该更高。

5.2 对抗信息茧房的三种策略

自主订阅虽然摆脱了算法推荐，但也可能带来新的问题：如果只订阅自己认同的观点，视野反而会变窄。要避免这种情况，可以采取三种策略：

1. 在信息源列表中加入与自己观点不同的来源，持续观察不同立场的报道框架。
2. 定期用一个固定关键词重新搜索，检查和自己的预判是否一致。
3. 保留至少 3 个“超出当前舒适区”的信息源，比如跨行业的技术媒体、非技术领域的深度期刊。

5.3 自动化与人工的结合

过滤工具能解决“量”的问题，但不能完全替代阅读和判断。更合理的流程是：程序每天生成候选阅读清单，人只需要阅读排在前面的 10 到 20 条内容。

如果想进一步自动化，可以借助系统自带的定时任务。以 Linux 的 cron 为例：

# 每天上午 8 点运行抓取脚本 0 8 * * * cd /path/to/news_filter && /path/to/venv/bin/python main.py

需要注意的是，定时任务需要保证脚本运行环境与手动运行一致，建议在脚本中使用虚拟环境的绝对路径，避免找不到依赖。

6. 常见问题与排查

6.1 常见错误现象与解决

6.2 防爬与反采集注意事项

抓取公开 RSS 信息源时要注意：RSS 本身是网站主动对外提供的内容分发方式，订阅抓取通常属于正常使用。但如果目标网站没有 RSS 输出，不建议使用爬虫强行抓取页面，这会增加对方服务器压力，也可能触碰法律边界。

更稳妥的做法是优先选择官方提供的 RSS Feed；对于没有 RSS 的网站，可以关注是否有第三方聚合服务，但使用时需要确认该服务的合规性。所有抓取行为都应控制频率，建议在两次请求之间加入合理的间隔。

6.3 使用场景局限

最后要说明一点：本文的工具适合个人学习、研究和信息管理，不适合直接用于商业性质的新闻聚合产品。如果计划对外提供服务，需要关注版权合规和内容授权问题。

7. 最佳实践与工程建议

7.1 从配置文件开始维护信息源

把信息源和过滤规则放在独立的配置文件中，而不是写死在代码里。这样做的好处是：调整信息源不需要修改代码，降低了出错概率；配置可以被 Git 管理，方便回滚和迁移；不同场景可以复用同一套代码，只替换配置即可。

建议把配置文件的版本一起纳入版本控制，例如在config.yaml中加入version字段，便于追踪变更：

version: 1.0

7.2 日志与异常处理

脚本虽然简单，但在长期运行时仍需要关注异常。建议在main.py中增加日志输出：

import logging logging.basicConfig( level=logging.INFO, format="%(asctime)s [%(levelname)s] %(message)s", handlers=[ logging.FileHandler("news_filter.log", encoding="utf-8"), logging.StreamHandler() ] )

日志可以帮助你快速定位抓取失败、解析异常等问题，避免定时任务长期静默失败。

7.3 隐私与数据安全

所有抓取到的数据默认保存在本地，不会上传到任何第三方平台。这也是自建信息聚合工具的重要优势：阅读记录、关键词偏好、信息源列表都掌握在自己手里。

如果要保存历史阅读数据，建议用 SQLite 等轻量级数据库代替纯文本，方便后续查询和分析。但要注意，保存的数据也应遵循最小化原则，不存储不必要的个人信息。

7.4 不要追求“完美过滤”

信息过滤工具的终极目标不是“只保留最重要的 3 条”，而是“减少噪音，保持信息宽度”。追求完美的过滤规则往往会导致两个极端：规则太松，过滤效果差；规则太紧，错过重要信息。

比较好的做法是分阶段调整：第一周只统计不过滤，观察数据分布情况；第二周加入关键词评分；第三周再根据效果微调阈值。让系统有一个渐进适应过程，而不是一开始就叠加大量规则。

8. 总结与后续学习

“比审美降级更可怕的是新闻降级”这句话，放在技术领域同样适用。如果每天接收的是低质量、碎片化、缺乏上下文的“信息快餐”，技术成长就会受到隐性限制。好消息是，开发者可以借助技术手段改变这种状态。

本文从新闻降级现象出发，介绍了如何用 RSS、信息源分级和规则过滤构建一个个人新闻聚合工具。完整的 Python 示例可以直接复制运行，通过config.yaml控制信息源和过滤规则，生成一份可读的 Markdown 阅读报告。代码本身不复杂，但背后体现的是“主动管理信息”的理念。

下一步你可以尝试的方向包括：将过滤后的内容自动同步到阅读器、加入更多文本清洗逻辑、统计不同来源的内容分布、用机器学习对文章分类排序——但优先建议先把信息源维护好，因为工具永远只是辅助，真正稀缺的是持续的高质量输入。

如果你也想改善自己的信息环境，不妨从一次配置文件的整理开始：订阅你真正想读的源，删掉那些只会制造焦虑的噪音，然后让程序帮你完成剩下的筛选工作。