Can Large Language Models Detect Real-World Android Software Compliance Violations?

文章核心总结与翻译

一、主要内容

本文聚焦大语言模型（LLMs）在Android软件合规违规检测中的应用，提出了全新评估框架CompliBench。该框架针对LGPD、PDPA、PIPEDA三类未被充分研究的数据保护法规，设计了两大核心任务：跨粒度检索定位（文件、模块、行级）和代码片段多标签法律条款判断，还原合规审计真实流程。通过引入SGS、RCS、CRGS、OCS四类稳定性感知复合指标，弥补传统指标在跨粒度稳定性、跨司法管辖区一致性评估上的不足。对GPT-4O、Claude-3.5等6个主流模型的实验表明，Claude-3.5-sonnet-20241022以0.3295的OCS得分表现最佳，而Gemini-2.5-pro得分最低（0.0538），证实了CompliBench在提升LLM合规检测性能上的有效性。

二、创新点

1. 首个聚焦LGPD、PDPA、PIPEDA的代码级合规基准，实现代码证据与原生法律条款的直接关联，保留审计级溯源信息（提交哈希、文件路径等）。
2. 设计双任务评估体系，分别对应合规审计中的“定位问题代码”和“判定违规条款”核心环节，贴合实际工作流。
3. 提出稳定性优先的复合评估指标，量化模型在跨粒度、跨指标、跨司法管辖区的鲁棒性，避免单一指标的片面性。
4. 提供统一可复现的实验框架，包含数据集、提示词和评估脚本，支持合规导向软件工程工具的后续研发。

三、核心章节翻译（Markdown格式）