robot txt：品牌更名后旧称与新称应怎样共存
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7112012b620f.html
📄
robot txt：品牌更名后旧称与新称应怎样共存
结论先说：品牌更名后，旧称与新称在 robot txt 层面通常不需要、也不应该做成两套互斥的规则。更常见的现象是——新品牌页很快被正常抓取，而旧品牌路径的抓取量却出现异常，甚至归零。这并不自动说明旧路径处理错了，它可能来自三种完全不同的原因，需要分开验证。
矛盾现象：旧路径抓取归零，未必是屏蔽生效
更名后，团队往往会做一件事：把旧品牌词对应的目录或参数路径，在 robot txt 里加上 Disallow。几周后回看日志，发现旧路径抓取量几乎为零，于是判断“处理成功”。但这个归零有至少两种解释：
- 解释一：屏蔽确实生效。爬虫读取了新的 robot txt，停止请求被禁止的路径。
- 解释二：屏蔽还没生效，但旧路径本身已经不再被引用。内链被改到新品牌页、旧页返回 301、站点地图只保留新路径，爬虫自然不再来。
两种解释都会让抓取量下降。如果只看这一个数字，就无法判断 Disallow 是否真的起了作用，也无法判断旧称是否还应该保留。
区分两种解释：看“被禁止路径”与“未被禁止路径”的对比
要区分上面两种情况，不能只看旧路径本身，而要找一个对照。做法是：在 robot txt 中保留一条未被禁止的旧路径，同时禁止另一条结构相近的旧路径，然后观察两者在日志中的请求差异。
假设旧站有 /old-brand/guide/ 和 /old-brand/news/ 两个目录。只禁止前者，保留后者可抓取。如果一段时间后 guide 请求趋近于零，而 news 仍有稳定请求，那么更可能是 Disallow 在起作用；如果两者都趋近于零，则更可能是内链与跳转已经让爬虫不再需要访问旧目录，屏蔽规则只是“搭了顺风车”。
这个动作的价值在于：它把“规则效果”和“链接变化效果”分开，让下一步决策有依据。若确认是链接变化导致，就不必继续扩大 Disallow 范围，而应把精力放在新品牌路径的可抓取与可理解上。
旧称与新称共存的三种处理方式及适用条件
robot txt 本身不负责品牌表达，它只决定爬虫能请求什么。因此“共存”的核心不是让两个名字都出现在规则里，而是让旧路径的过渡状态与新路径的抓取需求不冲突。常见处理有三种：
- 旧路径 301 到新路径，robot txt 不禁止旧路径。适用于旧页仍有外链、旧称仍有搜索需求的情况。让爬虫顺着 301 走到新页，比直接禁止更容易把旧称积累的信号传递过去。此时 robot txt 里对旧路径保持可抓取，是配合跳转的必要条件。
- 旧路径保留可访问内容，robot txt 同样不禁止。适用于旧称本身仍有独立价值、且内容与新品牌定位不冲突的情况。两个名称的页面各自被抓取和索引，但需要在新页上明确当前品牌主体，避免用户混淆。
- 旧路径禁止抓取，只在新页承接。适用于旧路径是参数组合、重复内容或已无保留价值的临时页。此时 Disallow 可以节省抓取预算，但前提是旧路径没有重要外链，也不承担跳转入口。
选择哪一种，取决于旧路径是否还有外链、是否还产生用户访问、以及旧称是否仍被搜索。若这三点都没有依据，直接禁止看似干净，却可能把本可传递的信号一并切断。
一个假设例子：用对照路径判断该不该继续禁止
假设某品牌从 A 名改为 B 名，旧站有 /a/ 目录，新站主推 /b/。团队先在 robot txt 中禁止 /a/，一个月后发现旧路径抓取归零，同时新路径抓取正常。此时若直接宣布“旧称处理完毕”，就跳过了验证。
更稳妥的做法是：临时放开 /a/ 中一条有代表性的旧页，观察它是否被重新请求、是否顺着 301 到达 /b/。如果重新出现请求并成功跳转，说明旧路径仍可承担过渡作用，下一步应保留可抓取并检查跳转链；如果放开后仍无请求，说明爬虫已不再依赖该路径，禁止与否影响有限，可以把注意力转向新路径的内链与站点地图。
这个例子的数字仅用于说明比较方法，不代表任何真实站点的表现。
共存决策中要盯住的动作与结果
更名后的 robot txt 调整，真正影响下一步的不是规则写了多少行，而是两个可核对的结果：旧路径在放开后是否被重新请求，以及新路径是否稳定被抓取。前者决定旧称要不要继续保留入口，后者决定新称是否已经接管。抓取、索引、排名是不同环节，抓取归零只说明请求层面的变化，不能单独证明旧称已被正确处理，也不能单独证明新称已经获得理解。把对照路径、跳转状态和新路径抓取放在一起看，才能判断旧称与新称是并行、过渡，还是应当收束。
