核心做法是先把“地址”拆成带请求条件的样本:同一URL分别用桌面与移动UA、匿名与登录态去取,记录状态码、最终URL、响应头和正文指纹,然后只对指纹不同的样本做逐项对照。对照的目的不是证明谁对谁错,而是判断这条旧地址该保留、改写还是退出。
同一地址返回不同内容,常见原因有三类:服务端按User-Agent或Cookie做分流;边缘缓存把不同变体混在一起;登录态让页面落入不同的模板或权限分支。三者对应的处理动作完全不同,所以第一步是让每次请求的条件可复现。
如果条件不固定,后续看到的差异无法归因,修复动作就会变成反复试错。一个实际动作是:先对目标地址跑一轮条件固定的取样,若四个样本的状态码和正文指纹完全一致,说明这条地址不涉及设备或登录分流,可以把精力转向其他旧地址;若不一致,才进入下面的对照。
把每个样本整理成三列,比直接肉眼比对页面更有判断力。
假设一条旧活动地址在匿名桌面端返回404,在登录移动端返回200且正文是后台预览页。这组证据更支持“对外已失效、对内仍被引用”,而不是“链接本身坏了”。据此下一步应先查该地址在站内还有多少入口引用,再决定是整条退出,还是只保留内部入口。
三个方向的适用前提不同,不要强行都做一遍。
需要说明的是,用robots.txt限制抓取并不等于可靠的索引移除,它只约束抓取行为,与已收录地址的退出不是一回事。站点地图也不保证收录,把地址从站点地图里拿掉,不能替代对地址本身的处理决定。
对照的价值在于把“修链接”拆成可执行的分支。一个可用的判断顺序是:
执行改写或退出后,重新跑同一组固定条件取样。若四个样本的最终URL和正文指纹收敛到预期结果,这条地址可以结案;若仍分裂,说明还有一层分流没被识别,需要回到请求条件那一步补充样本。请求量或抓取量下降不能单独证明处理正确,它也可能来自入口减少、抓取预算变化或统计口径调整,仍需结合状态码和引用清单一并判断。
第一种是把HTTPS当作安全与正确的证明。HTTPS只说明传输层加密,不保证页面内容一致,也不保证地址该保留。第二种是把某一端的正常表现当作全局结论。移动端能打开,不代表桌面端对外可用;登录后能看到,不代表匿名访客能看到。
因此,对照的落点始终是“这条地址对谁、在什么条件下、返回什么”,而不是“这条地址是否正常”。把条件写进记录,保留、改写或退出的决定才有依据,也才能在下次复查时复现同一组证据。