反向链接查询，全站扫描中断后怎样判断已覆盖范围
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /ea374a4b440d.html
📄
反向链接查询，全站扫描中断后怎样判断已覆盖范围
一次全站反向链接查询被中断后，不能只看进度条或已导出条数来判断覆盖范围。更可靠的做法是：先确认中断发生在哪一层（发现链接、抓取来源页、还是写入结果），再用“样本是否跨越不同来源类型”来估算覆盖边界。如果中断前只覆盖了少数来源类型，那么即使样本看起来完整，也不能直接外推到全站。
为什么样本成立、规模化后却出现例外
常见现象是：中断前导出的几百条记录里，链接来源集中在目录页和论坛签名，看起来类型齐全、指向正常；但恢复扫描后，新增记录里出现了大量来自聚合站和镜像站的链接。这说明中断前的样本并不代表全站，只是恰好落在同一批来源类型上。
这种矛盾通常有两个解释。第一个是来源类型分层：不同来源类型的链接在发现顺序上并不均匀，扫描工具可能先处理容易抓取的页面，把难抓取或需要分页的来源留到后面。第二个是中断位置偏置：中断发生在某个来源类型的处理中途，导致该类型被截断，而其他类型尚未开始。
能区分两种解释的证据
要判断是分层问题还是中断偏置，可以对比中断前后记录的来源类型分布。具体动作是：把已导出记录按来源类型分组，统计每组的条数和占比，再和恢复扫描后新增记录的类型分布做比较。
- 如果中断前某类型占比明显偏高，而恢复后该类型占比骤降，说明中断位置偏置——中断恰好卡在该类型处理中途。
- 如果中断前所有类型都只出现少量记录，恢复后各类型按相近比例增长，说明来源类型分层——扫描顺序本身按类型推进，中断只是提前截断。
- 如果中断前完全没有某类来源，恢复后该类大量出现，说明该类型在扫描队列中靠后，不能根据中断前的空结果判断该类型不存在。
这个对比的结果会直接影响下一步：偏置型中断只需补扫被截断的类型；分层型中断则需要按类型重新评估覆盖比例，不能按总条数线性外推。
用一个假设例子说明边界
假设某次扫描在 40% 进度时中断，已导出 1200 条记录，其中 900 条来自目录站。恢复后新增 800 条，目录站只占 100 条，其余分散在新闻站、博客和聚合页。这时不能因为“样本里目录站链接都正常”就认为全站链接质量一致，因为目录站恰好是中断前被集中处理的那一类。
反过来，如果中断前 1200 条里目录站、博客、新闻站各占约三分之一，恢复后新增记录仍保持相近比例，那么可以认为中断没有明显偏置，已覆盖范围对全站有一定代表性。注意这里的比例只是用于说明比较方法，不是固定阈值。
恢复扫描前先做哪一步
不要直接从头重扫。先记录中断时的进度位置和已处理来源类型，再决定是补扫还是全量重跑。如果中断发生在写入阶段而非抓取阶段，已抓取但未写入的链接可能丢失，这时补扫范围要覆盖中断前最后一批来源页，而不是只从中断进度继续。
一个实际动作是：在恢复前导出中断时的来源类型清单，标记哪些类型已完整处理、哪些只处理了一部分、哪些尚未开始。这个清单决定了恢复扫描的起点和范围。如果清单显示多个类型都只处理了一部分，全量重跑比补扫更稳妥；如果只有一个类型被截断，补扫该类型即可。
哪些情况下不能照搬样本结论
当扫描工具按来源类型分批处理、且中断发生在某一类型中途时，中断前的样本不能代表全站。当来源类型之间存在抓取难度差异时，先被抓取的类型往往更容易处理，其链接特征也可能与后续类型不同。当扫描涉及分页或需要登录的来源时，中断前覆盖的页面深度可能有限，不能根据已覆盖页面的链接判断深层页面的情况。
因此，判断覆盖范围时，来源类型的完整性比总条数更重要。如果无法确认哪些类型已完整处理，应把当前结果视为部分覆盖，而不是全站结论。
