Hacker-job 技术架构解析：从数据抓取到 AI 解析的全流程实现

Hacker-job 技术架构解析：从数据抓取到 AI 解析的全流程实现

【免费下载链接】hacker-jobPlay with hackernews' "who is hiring"项目地址: https://gitcode.com/gh_mirrors/ha/hacker-job

Hacker-job 是一个开源的数据工程与AI解析项目，专门处理Hacker News的"Who is Hiring?"招聘帖子。这个项目通过智能化的数据管道，将非结构化的招聘信息转化为结构化的可搜索数据，为开发者提供精准的招聘趋势分析和职位搜索功能。本文将深入解析Hacker-job的技术架构，从数据抓取到AI解析的全流程实现。

🚀 项目概述与核心价值

Hacker-job 解决了技术招聘领域的一个痛点：Hacker News每月发布的"Who is Hiring?"帖子包含数百条自由文本的招聘信息，这些信息难以搜索、比较和分析。通过AI驱动的结构化解析，项目将这些杂乱的信息转化为标准化的数据格式，让开发者能够：

• 🔍 按技术栈、地点、薪资等条件筛选职位
• 📈 分析招聘市场趋势和技术需求变化
• 🌍 发现远程工作机会和全球招聘趋势
• 💰 了解不同地区和职位的薪资水平

项目的独特之处在于它完全基于文件系统存储，无需数据库，通过Git提交实现数据持久化，这使得部署和维护变得极其简单。

🏗️ 整体架构设计

Hacker-job 采用无数据库架构，将数据管道与前端应用完全解耦。这种设计带来了几个关键优势：

数据层架构

data/ # 数据集（已提交）—— 单一数据源 jobs/<month>.json # 每月一个JSONL文件：原始HN文本 + AI提取的字段 jobs/index.json # 可用月份的清单（衍生数据） trends.json # 薪资 + 关键词时间序列（衍生数据） pending.jsonl # 等待AI分析的帖子队列 hackers.json # GitHub赞助者信息

应用层架构

scripts/ # Node/TS 数据管道（抓取 → 分析 → 存储） frontend/ # Vite + React + TS 应用

前端应用在运行时从data/*目录获取数据，这意味着数据更新无需重新构建应用，实现了数据与应用的完全分离。

🔄 数据管道：四步处理流程

第一步：数据抓取（低成本操作）

数据抓取流程位于 scripts/fetchJobs.ts，负责从Hacker News API获取最新的招聘帖子：

1. 识别当前线程：通过Hacker News API找到最新的"Who is Hiring?"帖子
2. 获取所有评论：提取帖子下的所有评论作为原始招聘信息
3. 去重处理：跳过已存储或已在队列中的帖子
4. 入队等待：将新帖子添加到data/pending.jsonl队列

// 关键代码片段 const story = await latestHiringStory(); const month = story.created_at.slice(0, 7); const posts = await fetchThreadPosts(story.objectID); const fresh = posts.filter(p => !stored.has(p.id) && !queued.has(p.id));

第二步：AI解析（智能提取）

AI解析是项目的核心技术，位于 scripts/extract.ts。它使用LLM将自由文本转换为结构化数据：

提示工程：项目设计了专门的提示词模板，指导AI提取标准字段：

const PROMPT = `Extract structured job info from this HN job post. Return JSON only: { "company": string, "roles": string[], "location": string | null, "remote_type": "remote" | "onsite" | "hybrid" | null, "remote_regions": string[] | null, "salary_min": number | null, "salary_max": number | null, "salary_currency": "USD" | "EUR" | "GBP" | null, "tech_stack": string[], "job_type": "full-time" | "part-time" | "contract" | "intern" | null, "visa": boolean | null }`;

LLM配置灵活性：支持本地LM Studio服务器和云端API：

const client = new OpenAI({ baseURL: process.env.LLM_BASE_URL || "http://127.0.0.1:1234/v1", apiKey: process.env.LLM_API_KEY || "lm-studio", });

第三步：数据存储（无数据库设计）

数据存储逻辑在 scripts/store.ts 中实现，采用文件系统作为数据存储：

1. 每月文件存储：每个月的职位数据存储在单独的JSONL文件中
2. 原子操作：写入操作是原子的，确保数据一致性
3. 增量更新：只更新当前月份的文件，保持Git差异最小化

第四步：衍生数据生成

衍生数据生成在 scripts/derive.ts 中处理：

1. 索引生成：创建data/jobs/index.json清单文件
2. 趋势分析：计算薪资趋势和关键词频率，生成data/trends.json
3. 实时更新：数据更新后自动重新计算衍生数据

🤖 AI解析的智能实现

智能字段提取策略

Hacker-job 的AI解析器能够从各种格式的自由文本中提取结构化信息：

• 公司名称识别：从帖子开头或签名中提取公司名称
• 职位角色解析：识别多个职位角色（如"Senior Frontend Engineer"）
• 薪资范围提取：处理各种薪资格式（$100k-150k、€80k-100k等）
• 技术栈分析：从描述中提取技术关键词
• 工作类型分类：识别全职、兼职、合同、实习等类型

容错与重试机制

AI解析设计了完善的容错机制：

1. 失败重试：解析失败的帖子保留在队列中，下次运行时重试
2. 部分解析：即使某些字段解析失败，其他字段仍可保存
3. 并发控制：通过p-limit库控制并发请求，避免API限制

🎨 前端应用架构

技术栈选择

前端应用采用现代Web技术栈：

• 构建工具：Vite - 快速的开发服务器和构建工具
• 框架：React + TypeScript - 类型安全的组件开发
• 路由：React Router - 单页面应用路由管理
• 图表：xkcd风格图表 - 增加数据可视化的趣味性

数据加载策略

前端数据加载采用懒加载策略：

1. 清单文件优先：首先加载data/jobs/index.json获取可用月份
2. 按需加载：用户选择月份时加载对应的JSONL文件
3. 缓存机制：浏览器缓存已加载的数据，提升用户体验

用户界面设计

前端提供三个主要页面：

1. 职位搜索页面：按技术栈、地点、薪资等条件筛选职位
2. 趋势分析页面：展示薪资趋势和技术需求变化
3. 赞助者页面：展示项目赞助者和贡献者

🔧 自动化工作流

GitHub Actions 自动化

项目通过GitHub Actions实现完全自动化：

环境配置灵活性

项目支持多种LLM后端配置：

# 使用本地LM Studio服务器 LLM_BASE_URL=http://127.0.0.1:1234/v1 LLM_API_KEY=lm-studio # 使用OpenAI API LLM_BASE_URL=https://api.openai.com/v1 LLM_API_KEY=your-openai-key LLM_MODEL=gpt-4o-mini

📊 数据结构设计

职位数据模型

项目的核心数据模型定义在 scripts/types.ts：

export interface Job { id: number; // Hacker News评论ID author: string | null; // 发布者 ts: number; // 创建时间戳 company: string; // 公司名称 roles: string[]; // 职位角色数组 location: string | null; // 工作地点 remote_type: string | null; // 远程类型 remote_regions: string[]; // 远程工作地区 salary_min: number | null; // 最低薪资 salary_max: number | null; // 最高薪资 salary_currency: string | null;// 货币类型 tech_stack: string[]; // 技术栈 job_type: string | null; // 工作类型 visa: number | null; // 签证支持 text: string; // 原始文本 }

趋势数据分析

趋势数据包含三个维度的分析：

1. 职位数量趋势：每月发布的职位数量变化
2. 薪资趋势：平均薪资和薪资范围的变化
3. 关键词趋势：技术栈关键词的出现频率变化

🛠️ 开发与部署

本地开发环境

项目提供简单的本地开发设置：

# 克隆仓库 git clone https://gitcode.com/gh_mirrors/ha/hacker-job.git # 启动前端开发服务器 cd frontend && npm install && npm run dev # 安装数据管道依赖 cd .. && npm install

开发服务器将仓库根目录的data/目录映射到/data/*路径，实现实时数据访问。

生产部署策略

生产部署采用GitHub Pages + GitHub Actions的自动化流程：

1. 数据更新：每日自动运行数据管道
2. 前端构建：数据更新后自动构建前端应用
3. 静态部署：将构建结果部署到GitHub Pages
4. 自定义域名：通过frontend/public/CNAME支持自定义域名

🔮 技术亮点与创新

1. 无数据库架构的优势

Hacker-job 的无数据库设计带来了显著优势：

• 简化部署：无需数据库服务器，降低运维复杂度
• 版本控制：通过Git实现数据版本管理
• 数据可移植性：数据文件可轻松备份和迁移
• 成本效益：无需数据库托管费用

2. AI与人类协作的数据管道

项目实现了AI与人类协作的智能数据处理：

• AI负责提取：处理重复性、模式化的信息提取任务
• 人类负责验证：通过原始文本保留实现人工验证
• 渐进式改进：AI模型可逐步改进，提升提取准确率

3. 实时与批量处理的平衡

数据管道在实时性和批量处理之间找到平衡：

• 增量更新：每日只处理新增帖子，降低计算成本
• 批量分析：使用并发处理提高AI解析效率
• 离线计算：趋势分析在后台批量计算，不影响用户体验

🎯 实际应用场景

技术招聘市场分析

Hacker-job 的数据为技术招聘市场提供了宝贵洞察：

• 技术趋势预测：通过技术栈频率变化预测技术发展趋势
• 薪资基准分析：为求职者和招聘方提供薪资参考
• 远程工作趋势：分析远程工作的发展趋势和地区分布

个人职业规划

开发者可以利用Hacker-job数据进行职业规划：

• 技能匹配分析：了解市场需求与个人技能的匹配度
• 地区机会发现：发现不同地区的技术职位机会
• 薪资谈判参考：获取市场薪资数据作为谈判参考

📈 性能优化策略

数据存储优化

1. JSONL格式：使用JSON Lines格式，每行一个完整记录
2. 按月份分割：避免单个文件过大，提高读取效率
3. Gzip压缩：GitHub Pages自动启用压缩，减少传输大小

前端性能优化

1. 代码分割：按路由进行代码分割，减少初始加载时间
2. 懒加载数据：只在需要时加载特定月份的数据
3. 客户端缓存：利用浏览器缓存减少重复请求

🚧 挑战与解决方案

挑战1：AI解析的准确性

问题：自由文本格式多样，AI解析可能出错

解决方案：

• 设计详细的提示词模板
• 实现字段验证逻辑
• 保留原始文本供人工验证
• 失败重试机制

挑战2：数据一致性

问题：多步骤数据处理可能导致数据不一致

解决方案：

• 原子文件操作
• 事务性写入
• 数据完整性检查
• 自动回滚机制

挑战3：可扩展性

问题：数据量增长可能导致性能问题

解决方案：

• 按月份分割数据文件
• 增量更新策略
• 衍生数据预计算
• 客户端分页加载

🌟 总结与展望

Hacker-job 项目展示了现代数据工程的最佳实践：将AI能力与传统数据处理技术相结合，构建高效、可靠的数据管道。项目的技术架构具有以下显著特点：

1. 简洁性：无数据库设计降低了系统复杂度
2. 可维护性：清晰的模块分离和类型安全
3. 可扩展性：支持多种LLM后端和部署环境
4. 实用性：解决真实世界的技术招聘数据问题

随着AI技术的不断发展，Hacker-job 的架构为类似的数据处理项目提供了可复用的模板。无论是技术招聘数据分析，还是其他领域的非结构化数据处理，这种AI驱动的数据管道模式都具有广泛的应用前景。

项目的开源特性也鼓励社区参与和改进，共同构建更加智能、准确的技术招聘数据分析平台。通过持续的数据积累和算法优化，Hacker-job 有望成为技术招聘领域的重要参考工具。

Hacker-job数据流程架构图展示了从Hacker News抓取到前端展示的完整数据处理流程

【免费下载链接】hacker-jobPlay with hackernews' "who is hiring"项目地址: https://gitcode.com/gh_mirrors/ha/hacker-job