报告里的页数通常不是“独立对象数”,而是“抓取或收录记录数”。同一个对象因参数、协议、结尾斜杠、大小写或重复提交,可能被算成多页。去重前先判断一件事:这些多出来的记录,是同一对象的不同入口,还是确实存在多个独立对象。判断不同,处理方式完全不同。
当报告中的多条记录最终返回同一份内容,或者只有URL写法不同,它们属于同一对象的重复入口。此时不需要逐条删除,而应确定一个规范地址,把其余入口通过跳转或链接声明指向它。判断依据可以看三点:页面正文是否相同、标题与主要结构是否相同、是否存在仅参数不同的地址。
一个假设例子:旧活动页有带跟踪参数、带排序参数、带会话参数三种地址,报告里显示为三页,但正文一致。动作是保留无参数版本作为规范地址,其余版本做跳转。结果是后续抓取会集中到规范地址,报告页数下降;下一步再去核对是否还有独立内容被误合并。
这一步的例外是:如果参数确实改变了页面主体内容,比如不同筛选条件产生不同列表,就不能强行合并,否则会丢掉真实对象。
如果每条记录返回的内容不同,哪怕标题相似,也应视为不同对象。此时“去重”不是合并,而是按价值分类:保留仍然有用的对象,退出已经失效的旧内容、旧系统页面或旧合作关系页面。分类依据可以是访问入口是否还需要、内容是否仍被引用、是否还有后续维护成本。
实施动作建议分三步:先导出全部记录并标注对象类型;再对每个对象标记保留、合并或退出;最后只对退出对象做移除或停止链接处理。结果会直接影响下一步——如果退出对象仍被外部链接指向,需要先处理这些引用,否则报告页数可能因为旧入口再次出现而反弹。
去重是否有效,不看页数是否归零,而看是否满足一对象一记录。可以用下面的核对表逐项确认:
如果剩余页数仍然大于对象数,先回到条件一判断是否还有同对象多入口;如果剩余页数小于对象数,说明可能有对象被误合并,需要恢复独立地址。
页数、抓取量或某项统计下降,只能说明记录变少,不能单独证明去重正确。合理解释还包括:抓取被临时限制、部分地址暂时不可访问、报告统计范围变化、旧入口被暂时屏蔽。要排除这些解释,至少核对一次实际访问结果,并确认保留对象仍可正常返回内容。
退出旧对象时,不要只按报告页数决定。先问两个问题:这个对象是否还有外部引用或用户入口;它的内容是否仍有独立价值。两个都否,可以退出;只要有一个是,优先合并或保留。实施动作是先停止新增引用,再观察一段时间,最后才做移除。这样做的结果是,下一步可以根据剩余入口是否继续出现,判断退出是否彻底,而不是一次性删掉后无法回退。
具体工具中如何查看、导出或标记这些记录,需要以实际界面和当前说明为准,不同平台的处理入口并不相同。