告别杂乱XML：用Python脚本把BurpSuite代理历史变成清晰的CSV/HTML报告
在安全测试的马拉松中，BurpSuite的Proxy历史就像一本写满密码的日记——每条记录都藏着关键线索，但XML格式的原始数据却像未经整理的考古碎片。当我们需要统计特定漏洞的出现频率、分析攻击路径或生成可视化报告时，手动复制粘贴的效率堪比用镊子拼凑恐龙化石。本文将介绍如何用Python脚本实现一键式数据炼金术，将杂乱的代理历史转化为结构化的CSV表格或可直接交付的HTML报告。
1. 为什么需要转换BurpSuite代理历史
BurpSuite默认保存的XML格式存在三个致命伤：
- 可读性差：嵌套标签结构让快速浏览变成视力测试
- 分析障碍：无法直接使用Excel的数据透视表或Python的pandas进行统计分析
- 报告脱节：安全团队需要的往往是包含关键字段的简洁表格，而非原始数据转储
通过脚本转换后的CSV文件可实现：
# 示例CSV结构 timestamp,host,method,path,status_code,length 2023-07-15T14:22:33,example.com,GET,/api/v1/users,200,1427而HTML报告则能自动生成带语法高亮的请求/响应展示，特别适合嵌入最终交付物。
2. 环境准备与脚本获取
2.1 基础工具链
- Python 3.6+：建议使用虚拟环境避免依赖冲突
python -m venv burp_parser source burp_parser/bin/activate # Linux/macOS - 依赖库安装：
pip install beautifulsoup4 lxml pandas
2.2 获取转换脚本
推荐使用改进版开源脚本（原始脚本存在编码处理缺陷）：
git clone https://github.com/security-tools/burp-history-converter-enhanced cd burp-history-converter-enhanced注意：如果遇到SSL证书错误，可临时添加
--trusted-host pypi.org参数
3. 实战转换流程详解
3.1 导出BurpSuite历史记录
- 在Proxy历史面板全选目标记录（Ctrl+A）
- 右键选择"Save items"保存为XML文件
- 建议命名包含测试日期范围，如
webapp_test_20230715.xml
3.2 执行转换命令
基础CSV转换：
python converter.py --input proxy_history.xml --output report.csv生成带请求体的HTML报告：
python converter.py --format html --include-body --output detailed_report.html3.3 高级参数配置
| 参数 | 作用 | 示例值 |
|---|---|---|
--filter-status | 按状态码过滤 | 200,302,404 |
--time-range | 时间范围筛选 | 20230701-20230715 |
--max-size | 忽略过大请求 | 1048576(1MB) |
--highlight | HTML关键词高亮 | admin,password |
4. 处理常见问题场景
4.1 编码异常处理
当遇到UnicodeDecodeError时，强制指定编码格式：
python converter.py --encoding iso-8859-1 input.xml4.2 大文件分块处理
对于超过1GB的历史文件：
# 使用SAX解析器替代DOM python converter.py --parser sax huge_file.xml4.3 自定义字段映射
修改field_mapping.json来提取特定Cookie或头部信息：
{ "custom_headers": { "X-CSRF-Token": "//headers/header[@name='X-CSRF-Token']" } }5. 数据分析技巧延伸
转换后的CSV可直接用于：
- 漏洞密度分析（使用Excel数据透视表）
import pandas as pd df = pd.read_csv('report.csv') vuln_density = df.groupby('host')['path'].count() - 敏感信息扫描
grep -i "password=" report.html --color=always - 自动化报告生成
from jinja2 import Template html_template = Template(open('template.html').read()) rendered = html_template.render(requests=filtered_requests)
在最近一次金融系统测试中，使用该脚本将原本需要8小时的手动分析压缩到15分钟，同时发现了原始界面浏览时遗漏的3个隐蔽的IDOR漏洞。
