Python 爬虫项目：美食店铺信息批量采集

前言

本地生活服务行业线上化进程不断加快，各大综合平台、美食点评网站汇聚了海量线下餐饮店铺数据，涵盖门店基础资质、经营品类、消费价位、用户评价、地理位置等多维度信息。这类数据是本地生活运营、餐饮行业市场调研、商圈客流分析、线下门店选址参考的核心数据源。依靠人工逐条复制整理店铺信息，不仅效率低下、人力成本偏高，还难以实现多区域、大批量店铺数据的同步更新与汇总。借助 Python 编写自动化爬虫程序，能够高效完成多页面、多区域美食店铺数据的批量采集、结构化整理与本地持久化存储，显著提升数据获取效率。

本文聚焦美食店铺信息批量采集场景，搭建完整的爬虫项目体系，依次完成环境配置、网页结构解析、模块化代码开发、底层原理讲解、异常处理、数据清洗、存储落地以及项目优化等全流程内容。项目开发所依赖的工具、第三方库及官方资源链接整理如下： Python 官方下载地址、requests 库官方文档、BeautifulSoup4 官方文档、lxml 解析库下载与文档、csv 模块官方说明、time 模块官方文档、re 正则表达式模块文档。

本项目基于静态网页爬虫技术实现，适配主流美食点评类网页结构，代码采用模块化设计，逻辑分层清晰，可快速适配不同城市、不同品类的餐饮店铺采集需求。代码中融入正则清洗、多级页面联动采集、批量分页遍历、多层异常捕获等工程化设计，贴合实际生产环境下批量数据采集的开发标准，适合具备 Python 基础、想要掌握批量爬虫开发、数据清洗与结构化存储的开发者学习使用。

一、项目需求与数据字段规划

1.1 项目采集目标与应用场景

本项目以线上美食点评网站为采集载体，实现指定城市、指定美食分类下所有线下餐饮店铺信息的批量爬取。采集所得结构化数据可应用于餐饮竞品分析、商圈业态统计、线上店铺内容聚合、用户美食推荐系统数据支撑等场景。项目核心目标为自动化遍历分页列表、提取店铺全维度信息、完成数据清洗并统一格式，最终输出标准表格化数据。

1.2 核心采集字段明细表

结合美食店铺运营与数据分析的实际需求，划分店铺基础信息、经营信息、评价信息、地址交通信息四大类别，明确每一项采集字段、字段释义与数据类型，具体规划如下表所示。

表格

1.3 功能模块整体拆解

为保障批量采集流程稳定、功能解耦、便于后期维护拓展，将整个爬虫程序拆分为七大独立功能模块，各模块分工明确且依次联动执行：

1. 网络请求模块：统一封装 HTTP 请求逻辑，模拟浏览器发起请求，处理超时、连接中断、状态码异常等网络问题，同时配置请求头完成基础反爬伪装。
2. 分页遍历模块：识别网页分页规则，循环拼接分页 URL，实现多页面店铺列表的全自动遍历，支撑大批量数据采集。
3. 列表页解析模块：从店铺列表页面提取店铺名称、品类、评分、商圈等浅层数据，并抓取店铺详情页跳转链接。
4. 详情页解析模块：通过列表页获取的链接访问店铺详情页面，提取营业时间、详细地址、联系电话、人均消费等深层信息。
5. 数据清洗模块：借助字符串处理与正则表达式，剔除网页自带空白字符、特殊符号、冗余广告文本，统一数据格式。
6. 数据存储模块：将清洗完成的结构化数据批量写入 CSV 表格文件，保证数据可读性、完整性与后续二次处理能力。
7. 延时与异常防护模块：设置随机请求延时模拟真人浏览行为，添加多层异常捕获机制，避免单条数据、单个页面异常导致整体程序终止。

1.4 运行环境说明

项目基于 Python 3.8 及以上版本开发，全面兼容 Windows、Linux、macOS 主流操作系统。运行设备需保证网络通畅，可正常访问目标美食网站，本地磁盘预留基础空间用于存储输出的 CSV 数据文件。开发与运行前需完成 Python 解释器安装以及对应第三方依赖库的部署。

二、开发环境与依赖库部署

2.1 Python 基础环境配置

前往Python 官方下载地址，根据自身操作系统选择对应安装包。Windows 系统推荐使用离线安装程序，安装过程中勾选自动添加环境变量选项；Linux 与 macOS 系统可通过官方源码包或系统自带包管理器完成安装。安装完成后打开命令行，执行python --version，输出版本号即代表基础环境配置完成。

2.2 核心第三方库安装与功能介绍

本项目核心依赖requests、BeautifulSoup4、lxml三大第三方库，同时搭配 Python 内置csv、time、random、re模块实现全部功能，下文逐一说明库功能、安装命令与使用要点。

2.2.1 requests 库

requests是 Python 爬虫领域主流的 HTTP 请求库，语法简洁易用，支持 GET、POST、文件请求、会话保持、请求头配置等功能，相比内置 urllib 模块大幅简化开发逻辑，是本项目网络请求环节的核心工具。 命令行执行安装指令：

plaintext

pip install requests

安装完成后可参考requests 库官方文档学习会话、代理、Cookie 等高级用法。

2.2.2 BeautifulSoup4 与 lxml 解析库

BeautifulSoup4用于将 HTML 网页源码解析为树形节点结构，支持通过标签名、类名、属性、选择器快速定位页面元素，实现数据提取。该库必须依托解析器运行，lxml解析器解析速度快、容错性强，是静态网页解析的最优搭配方案。 依次执行安装命令：

plaintext

pip install beautifulsoup4 pip install lxml

可查阅BeautifulSoup4 官方文档与lxml 解析库下载与文档掌握节点查找、文本提取等核心语法。

2.2.3 Python 内置模块说明

以下模块为 Python 标准库，无需额外安装，随解释器自带：

1. csv 模块：负责 CSV 文件创建、表头写入、批量数据追加，实现结构化数据持久化，详情参考csv 模块官方说明。
2. time 与 random 模块：组合生成随机延时，模拟人类浏览网页的时间间隔，降低反爬触发概率，参考time 模块官方文档。
3. re 正则表达式模块：用于复杂文本清洗、特殊字符过滤、号码与价格格式规整，是批量数据标准化的关键工具，详细用法可查阅re 正则表达式模块文档。

三、目标网页结构深度分析

批量爬虫开发的核心前提是精准拆解网页架构、请求规则、节点分布与分页逻辑，本章节针对美食店铺网页从请求方式、列表节点、详情节点、分页规则、数据干扰项五个维度完成分析。

3.1 网页请求方式分析

使用浏览器打开目标美食页面，按下 F12 唤起开发者工具，切换至 Network 网络面板并刷新页面。页面主请求为标准GET 请求，所有列表数据均直接渲染在 HTML 源码中，属于典型静态网页，无需处理异步接口、JS 动态渲染等复杂场景。

查看请求头信息可知，网站会校验客户端标识，若识别为 Python 程序原生请求，会直接返回 403 禁止访问状态码。因此爬虫程序中必须配置合法浏览器 User-Agent 字段，完成客户端伪装。部分高防护站点还会校验 Referer、Accept 等字段，可根据实际防护强度补充配置。

3.2 店铺列表页节点分析

页面主体区域为店铺列表，每一条店铺信息对应一组独立的 HTML 标签块，所有店铺条目统一嵌套在同一个父级容器标签内。单条店铺的名称、主营品类、综合评分、评价人数、所属商圈等浅层数据，均存放在 class 属性固定的 div、span、em 标签中，标签层级固定、属性唯一，可通过类选择器精准定位提取。

列表中每一个店铺条目均包含指向详情页的超链接，链接分为绝对路径与相对路径两种格式，这是实现 “列表页 + 详情页” 二级采集的核心入口，采集时需要对路径格式做判断与拼接处理。

3.3 店铺详情页节点分析

点击列表页跳转至店铺详情页，详情页承载人均消费、营业时间、详细地址、联系电话等深层数据。该页面标签结构同样具备统一规律，营业时间、地址、电话等字段分别对应独立标签节点。其中联系电话、价格等数据常夹杂符号、空格，需要结合正则表达式完成格式清洗。

3.4 分页规则分析

页面底部设置标准分页导航栏，点击不同页码观察 URL 变化，可总结出统一分页规则：基础 URL 后拼接page=数字参数，页码从 1 开始依次递增。针对批量采集场景，可采用两种遍历方案：一是手动设定起止页码，定向采集指定区间数据；二是解析分页区域标签获取全站最大页码，实现全自动全站爬取，本项目优先采用手动配置页码区间的方式，兼顾灵活性与可控性。

3.5 数据干扰项分析

网页原始文本中存在大量影响数据规整的干扰内容，主要包含首尾空白字符、换行符、制表符、HTML 转义字符、无关广告文本、多余装饰符号等。在批量采集场景下，若不做统一清洗，会导致最终表格数据格式混乱、内容冗余，因此在数据提取阶段必须加入字符串处理与正则清洗逻辑。

四、完整代码实现与逐段原理剖析

结合前期环境配置、网页分析与功能规划，按照模块化思路编写全套爬虫代码，分为模块导入、全局配置、请求函数、列表页解析、详情页解析、数据清洗、数据存储、主调度程序八个部分，每一段代码均配套底层原理与功能讲解。

4.1 模块导入代码及原理

首先导入项目运行所需的全部库与内置模块，作为程序运行入口，代码如下：

python

运行

# 导入网络请求库 import requests # 导入网页解析类 from bs4 import BeautifulSoup # 导入CSV文件操作模块 import csv # 导入时间模块实现延时 import time # 导入随机数模块生成随机延时 import random # 导入正则表达式模块用于数据清洗 import re

代码原理解析： 依次引入功能对应的依赖组件，requests负责网络请求，BeautifulSoup负责 HTML 节点解析，csv实现表格数据存储，time与random配合完成随机延时规避基础反爬，re正则模块专门处理复杂文本清洗、格式规整工作。所有模块集中在代码头部导入，符合 Python 工程化代码编写规范，便于统一管理与后期修改。

4.2 全局参数配置代码及原理

定义全局变量统一管理请求地址、请求头、文件路径、延时区间、爬取页码等参数，集中配置便于后期批量修改适配不同网站，代码如下：

python

运行

# 美食店铺列表基础URL，拼接分页参数使用 BASE_URL = "https://www.fooddemo.com/shop?page=" # 浏览器请求头，伪装客户端，规避反爬拦截 HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36" } # 数据存储文件名称 SAVE_CSV = "美食店铺信息采集数据.csv" # 随机延时上下限，单位：秒 SLEEP_START = 2 SLEEP_END = 4 # 爬取页码范围 START_PAGE = 1 END_PAGE = 15 # 正则表达式：过滤特殊符号、多余空格 CLEAN_REG = re.compile(r'[\r\n\t]+|\s+')

代码原理解析：

1. BASE_URL拆分基础域名与分页参数，后续循环仅需拼接数字即可生成完整 URL，更换同结构网站时仅修改该字段。
2. HEADERS核心配置User-Agent，模拟主流浏览器身份，绕过网站基础客户端检测。
3. SAVE_CSV指定输出文件名称，所有采集数据最终写入该文件。
4. 延时参数设置 2-4 秒随机间隔，相比固定延时更贴近真人操作行为，进一步降低反爬风险。
5. 页码区间限定采集范围，可根据数据量自由调整。
6. CLEAN_REG预编译正则表达式，匹配换行、回车、制表符与连续空格，后续复用该正则完成全局数据清洗，预编译正则可提升批量处理的运行效率。

4.3 通用网页请求函数代码及原理

封装通用 GET 请求函数，统一处理网络请求、编码、状态码、各类网络异常，实现代码复用，代码如下：

python

运行

def get_page_html(url): """ 通用网页请求函数，获取页面HTML源码 :param url: 目标网页链接 :return: 成功返回HTML文本，失败返回None """ try: # 发起GET请求，设置15秒超时时间 resp = requests.get(url, headers=HEADERS, timeout=15) # 统一设置编码为utf-8，解决中文乱码 resp.encoding = "utf-8" # 判断请求状态码 if resp.status_code == 200: return resp.text else: print(f"链接请求异常，状态码：{resp.status_code}，地址：{url}") return None except requests.exceptions.Timeout: print(f"链接 {url} 请求超时") return None except requests.exceptions.ConnectionError: print(f"链接 {url} 网络连接失败") return None except Exception as e: print(f"链接 {url} 未知错误：{str(e)}") return None

代码原理解析： 该函数为项目通用请求接口，列表页、详情页均可调用。requests.get发起 GET 请求，timeout=15限制最长响应时间，防止程序卡死。手动指定utf-8编码，彻底解决中文网页乱码问题。通过状态码判断请求结果，同时分层捕获超时、连接失败、未知异常三类错误，单个链接异常不会中断整体程序，大幅提升程序稳定性。请求成功则返回网页源码，失败统一返回空值，便于上层逻辑做判断处理。

4.4 数据清洗函数代码及原理

独立封装数据清洗函数，统一处理所有提取文本，剔除干扰字符、规整格式，代码如下：

python

运行

def clean_data(text): """ 清洗文本数据，去除空白字符与特殊符号 :param text: 原始文本内容 :return: 清洗后标准文本 """ if not text: return "" # 使用正则替换所有匹配内容为单个空格 res = CLEAN_REG.sub(' ', text) # 去除首尾空格 res = res.strip() return res

代码原理解析： 函数接收原始文本作为参数，首先做空值判断，避免空字符串引发解析错误。调用预编译正则表达式，将换行、制表、连续空白统一替换为单个空格，再通过strip()去除文本首尾多余空格。该函数被所有解析模块调用，实现全项目数据清洗规则统一，保证输出数据格式标准一致，是批量采集项目中不可或缺的标准化环节。

4.5 列表页解析函数代码及原理

解析店铺列表页面，提取店铺浅层信息与详情页链接，代码如下：

python

运行

def parse_shop_list(html): """ 解析店铺列表页，提取基础信息与详情链接 :param html: 列表页HTML源码 :return: 当前页面店铺数据列表 """ shop_data_list = [] if not html: return shop_data_list # 初始化解析对象 soup = BeautifulSoup(html, "lxml") # 定位所有店铺条目 shop_items = soup.find_all("div", class_="shop-item") # 遍历每一个店铺 for item in shop_items: shop_dict = {} try: # 提取店铺名称并清洗 shop_name = item.find("h4", class_="shop-name").get_text() shop_dict["店铺名称"] = clean_data(shop_name) # 提取主营品类 shop_type = item.find("span", class_="shop-type").get_text() shop_dict["主营品类"] = clean_data(shop_type) # 提取品牌标签 shop_tag = item.find("span", class_="brand-tag").get_text() shop_dict["品牌标签"] = clean_data(shop_tag) # 提取综合评分 shop_score = item.find("em", class_="score").get_text() shop_dict["综合评分"] = clean_data(shop_score) # 提取评价人数 comment_num = item.find("span", class_="comment-num").get_text() shop_dict["评价人数"] = clean_data(comment_num) # 提取所属商圈 business_area = item.find("div", class_="area").get_text() shop_dict["所在商圈"] = clean_data(business_area) # 提取详情页链接 detail_link = item.find("a", class_="detail-url")["href"] # 拼接完整链接 if detail_link.startswith("http"): shop_dict["详情链接"] = detail_link else: shop_dict["详情链接"] = "https://www.fooddemo.com" + detail_link shop_data_list.append(shop_dict) except Exception: continue return shop_data_list

代码原理解析：

1. 先判断网页源码是否为空，空值直接返回空列表，终止解析流程。
2. 实例化BeautifulSoup解析对象，通过find_all批量获取页面内所有店铺条目标签。
3. 循环遍历单条店铺标签，使用字典存储单条店铺数据，字段名与前期规划表格保持一致。
4. 调用find方法定位单个字段标签，提取文本后立即调用清洗函数标准化数据。
5. 对详情链接做路径判断，相对路径拼接域名转为完整可访问链接，解决链接失效问题。
6. 内部添加异常捕获，单条店铺解析失败直接跳过，不影响同页面其他数据采集。
7. 最终返回当前页面所有店铺的数据集，格式为列表嵌套字典，便于后续整合处理。

4.6 详情页解析函数代码及原理

通过列表页链接访问详情页，提取人均消费、营业时间、地址、电话等深层数据，代码如下：

python

运行

def parse_shop_detail(detail_url): """ 解析店铺详情页，提取深层经营与地址信息 :param detail_url: 店铺详情链接 :return: 详情数据字典 """ # 初始化详情字段，默认空值 detail_info = { "人均消费": "", "营业状态": "", "营业时间": "", "详细地址": "", "联系电话": "" } # 请求详情页源码 detail_html = get_page_html(detail_url) # 随机延时 time.sleep(random.uniform(SLEEP_START, SLEEP_END)) if not detail_html: return detail_info try: soup = BeautifulSoup(detail_html, "lxml") # 人均消费 price_avg = soup.find("div", class_="avg-price").get_text() detail_info["人均消费"] = clean_data(price_avg) # 营业状态 status = soup.find("span", class_="shop-status").get_text() detail_info["营业状态"] = clean_data(status) # 营业时间 open_time = soup.find("div", class_="open-time").get_text() detail_info["营业时间"] = clean_data(open_time) # 详细地址 address = soup.find("div", class_="address-info").get_text() detail_info["详细地址"] = clean_data(address) # 联系电话 phone = soup.find("div", class_="phone-num").get_text() detail_info["联系电话"] = clean_data(phone) except Exception: pass return detail_info

代码原理解析：

1. 提前初始化详情数据字典并赋值空字符串，即使解析或请求失败，也能保证字段完整，CSV 表格列数统一。
2. 调用通用请求函数获取详情页源码，请求完成后执行随机延时，降低连续请求的识别风险。
3. 源码为空则直接返回初始化字典，跳过解析逻辑。
4. 使用find方法定位详情页各个字段标签，提取文本后统一清洗。
5. 捕获解析过程异常，出现错误时不抛出程序崩溃，仅保留空字段，保证采集流程持续运行。

4.7 数据存储函数代码及原理

将整合完成的全量数据写入 CSV 文件，适配 Excel、WPS 等办公软件，代码如下：

python

运行

def save_data_to_csv(total_data): """ 将全量数据写入本地CSV文件 :param total_data: 整合后的完整数据集 """ # 定义CSV表头，与采集字段一一对应 csv_header = [ "店铺名称", "主营品类", "品牌标签", "综合评分", "评价人数", "所在商圈", "人均消费", "营业状态", "营业时间", "详细地址", "联系电话" ] # 写入文件，utf-8-sig解决Excel中文乱码，newline消除空行 with open(SAVE_CSV, "w", encoding="utf-8-sig", newline="") as f: writer = csv.DictWriter(f, fieldnames=csv_header) writer.writeheader() writer.writerows(total_data) print(f"数据采集完成，共计采集 {len(total_data)} 条美食店铺信息，文件已保存完毕")

代码原理解析：

1. csv_header定义表格表头，顺序与所有采集字段严格对应，保证数据与列名匹配。
2. 采用with上下文管理器操作文件，代码执行完毕自动关闭文件流，避免文件占用、数据丢失。
3. utf-8-sig编码专门适配 Windows 办公软件，彻底解决中文乱码问题；newline=""消除 CSV 文件多余空行。
4. csv.DictWriter字典写入器，直接接收字典格式数据，writerows支持一次性写入多条数据，相比循环单行写入效率更高，适配大批量数据存储场景。
5. 采集完成后打印总数据条数，直观反馈采集结果。

4.8 主程序调度代码及原理

整合所有功能函数，实现分页循环、数据合并、全流程调度，为程序入口，代码如下：

python

运行

def main(): """主函数，程序入口与流程调度""" all_shop_data = [] # 遍历所有页码 for page in range(START_PAGE, END_PAGE + 1): print(f"正在采集第 {page} 页店铺数据...") # 拼接分页URL page_url = BASE_URL + str(page) # 获取列表页源码 list_html = get_page_html(page_url) if not list_html: print(f"第 {page} 页请求失败，跳过当前页码") continue # 解析列表数据 page_shop_list = parse_shop_list(list_html) # 遍历单页每一个店铺 for shop in page_shop_list: detail_url = shop["详情链接"] # 解析详情页数据 detail_data = parse_shop_detail(detail_url) # 合并基础数据与详情数据，删除冗余链接字段 shop.pop("详情链接") shop.update(detail_data) all_shop_data.append(shop) # 页间延时 time.sleep(random.uniform(SLEEP_START, SLEEP_END)) # 全部页面采集完成，写入文件 save_data_to_csv(all_shop_data) # 程序运行入口判断 if __name__ == "__main__": main()

代码原理解析：

1. main函数作为总调度中心，初始化列表存储全量店铺数据。
2. 通过range遍历设定的页码区间，逐一生成分页 URL。
3. 页码请求失败则跳过当前页，继续执行下一页采集。
4. 解析列表数据后，逐个遍历店铺条目，调用详情页解析函数获取深层数据。
5. 使用pop删除无需存储的详情链接字段，update合并基础数据与详情数据，形成单条完整店铺信息。
6. 单页全部店铺采集完成后执行页间延时，模拟浏览翻页动作。
7. 所有页码遍历结束后，统一调用存储函数完成数据落地。
8. if __name__ == "__main__"标准入口判断，保证文件直接运行时才启动爬虫，作为模块导入时不自动执行。

五、项目优化、问题排查与功能拓展

5.1 高频问题排查与解决方案

结合美食店铺批量采集场景，整理运行过程中最易出现的问题、成因与对应解决办法，如下表所示。

表格

5.2 反爬策略进阶优化

本项目基础防护为 UA 伪装 + 随机延时，针对防护等级更高的美食点评网站，可叠加多层防护方案：

1. 多请求头轮换：构建 User-Agent 列表，每次请求随机选取，避免单一标识被封禁。
2. 补充完整请求头：新增 Referer、Accept、Accept-Language 等字段，完整模拟浏览器请求特征。
3. 代理 IP 池：大批量、高频次采集时配置代理 IP，轮换 IP 地址规避 IP 封禁。
4. Cookie 携带：部分网站需要登录状态才能查看完整电话、地址，可手动抓取有效 Cookie 加入请求头。

5.3 数据拓展与功能迭代方向

基于现有基础框架，可根据业务需求持续拓展功能，提升项目实用性：

1. 自动获取总页码：解析分页区域标签动态读取最大页码，无需手动修改结束页码，实现全站全自动爬取。
2. 分类定向采集：增加品类筛选参数，实现火锅、奶茶、中餐等单一品类店铺定向采集。
3. 数据入库存储：将 CSV 存储改为 MySQL、SQLite 数据库存储，适配十万级以上海量数据管理。
4. 多线程并发采集：引入 threading 模块实现多线程请求，大幅提升批量采集速度。
5. 增量爬取：读取历史采集文件，对比数据差异，仅采集新增店铺，避免重复爬取。

六、项目总结

本项目完成了一套面向美食店铺的批量采集爬虫全流程开发，从环境部署、网页分析、模块化代码编写、数据清洗、持久化存储到问题排查、功能优化，完整覆盖静态批量爬虫的核心技术要点。项目采用分层模块化设计，代码耦合度低、可读性强、便于二次修改与复用，仅需调整 URL、标签属性、采集字段，即可快速适配不同地区、不同平台的餐饮店铺采集需求。

技术层面，项目综合运用requests网络请求、BeautifulSoup4+lxml节点解析、正则表达式数据清洗、CSV 结构化存储、多层异常处理、随机延时反爬等核心技术，解决了静态网页批量采集中的乱码、链接异常、格式混乱、程序容错等经典问题。业务层面，采集得到的标准化美食店铺数据，能够直接服务于餐饮行业调研、线下选址、内容运营、数据分析等多个实际业务场景。