范围锁定
配置明确的源、字段、用途、最大页数、运行时长与停止文件。
authorization.json[ 仅限已确认授权的数据范围 ]
先问
能不能采，
再决定怎么采。
ScopeHarvest公开数据采集 / 合规先行DEFAULT拒绝未授权网络请求TEST只解析本地固定快照
- ×访问与使用授权客户书面范围、数据用途、保存期限PENDING
- ×robots / 条款 / API 政策真实目标必须逐站核验并存档PENDING
- ×字段最小化只保留标题、发布日期、来源链接和版本PENDING
- ×频率与影响评估限速、最大页数、超时、停止开关PENDING
STOP CONDITION
未确认授权、条款冲突、robots 禁止或字段超出必要范围时，停止相关模块并记录原因。
安全采集路径
不是一根吸管，
而是一条可回看的链路。
本地快照
测试读取固定 HTML 样本，不在测试中重复访问真实站点。
samples/source_snapshot.html解析与校验
检测字段缺失、结构变化、重复稳定键与文本清洗，不静默写坏数据。
parser + validator去重与存储
保留来源 URL、采集时间、内容哈希和版本；原子写出 CSV、JSON 与报告。
state + atomic output恢复与审计
日志不写令牌和 Cookie；停止后可依据状态文件安全续跑。
report + log + state等待通过授权控制。不会对外部站点发起请求。
输出记录
每一条记录
都有来处。
notice-2026-001snapshot://source/001sha256: 1c6…
notice-2026-002snapshot://source/002sha256: 9a4…
完整交付
采集能力不等于
采集许可。
python -m scope_harvest \
--config authorization.example.json \
--dry-run \
--max-pages 3 \
--max-runtime-seconds 60