子域名解析，参数组合无限增长时怎样定义有效地址集合
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c1c8657fe022.html
📄
子域名解析，参数组合无限增长时怎样定义有效地址集合
有效地址集合不是“所有能被解析出来的地址”，而是“你愿意让搜索引擎抓取、并愿意让它进入索引的地址”。当参数组合无限增长时，正确做法是先按参数语义分层，再用可枚举的规则把无限集合收敛成有限集合；如果做不到收敛，就应把该子域名的参数型地址整体排除在索引之外，而不是逐条提交或逐条屏蔽。
先分清两类参数：改变内容的与不改变内容的
假设有一个商品筛选子域名 shop.example.com，参数包括分类、价格区间、排序方式、页码和会话标识。这个情境是虚构的，只用于说明判断方法。分类和页码会改变页面主体内容；排序方式和会话标识通常不改变内容，只改变呈现顺序或用户状态。有效地址集合应只包含前者，后者要么用规范信号指向无参数版本，要么在抓取层直接拒绝。
判断依据不是参数名字，而是同一组参数变化后返回的正文是否实质不同。可以各取几个参数值，比较标题、主体文本和主要链接集合。如果只有排序不同而正文集合相同，这类组合就不应进入有效地址集合。
两种收敛做法：白名单枚举与整体排除
第一种做法是白名单枚举：只允许分类与页码参与地址，其他参数一律剔除或重定向到对应的规范地址。它成立的条件是参数维度少、每个维度的取值可穷举、且组合后的页面确有独立检索价值。代价是需要持续维护参数清单，新增筛选维度时必须同步更新规则，否则新参数会悄悄进入可抓取范围。
第二种做法是整体排除：对该子域名的参数型地址不开放抓取，只保留少量手工确认的无参数入口页。它成立的条件是参数页面的独立检索需求低，或者站内搜索和筛选的主要价值在站内而非搜索。代价是放弃长尾参数页可能带来的流量，并且需要确认排除规则不会被误用到无参数地址上。
选择时可以问一个具体问题：参数组合变化后，是否存在用户会用不同措辞搜索、且落地页内容确实不同的情况。如果答案是否定的，整体排除更省成本；如果答案是肯定的但只集中在少数维度，白名单枚举更合适。
用可枚举性检验集合是否真的收敛
把候选规则写下来，看它能否生成一个有限列表。例如“分类取 20 个值、页码取前 10 页”得到 200 个地址，这是可枚举的；“任意参数任意组合”则不可枚举。不可枚举时，任何试图逐条提交站点地图的做法都只是抽样，不能定义有效地址集合。
这里有一个容易被忽略的边界：抓取限制不等于索引移除。在 robots.txt 中拒绝参数路径，只能阻止抓取，已经进入索引的地址仍可能以其他形式出现；要影响索引结果，需要配合页面级规范信号或不可索引标记，并分别核查不同搜索引擎的支持情况。站点地图同理，它表达的是候选地址，不保证收录。
一个可执行的动作与它的后续影响
先做一次参数盘点：从访问日志或抓取记录中提取该子域名出现过的参数名，按“改变正文”“只改变顺序”“只用于追踪”三类归并。这个动作的结果直接决定下一步——如果“改变正文”的参数维度不超过三个且取值可穷举，就进入白名单枚举并生成有限地址清单；如果超过三个或取值不可穷举，就转为整体排除，只保留无参数入口。
盘点后还要验证一次：从白名单地址中抽取若干条，确认它们返回的正文确实不同，且规范地址指向自身而非被重定向到无参数页。若发现大量白名单地址最终都指向同一内容，说明白名单过宽，应收紧到真正有独立内容的维度。
需要同时接受的代价
- 白名单枚举的代价是维护成本，参数维度增加时要重新评估，否则集合会重新膨胀。
- 整体排除的代价是放弃部分长尾入口，且需要确认排除规则不会波及无参数地址。
- 两种做法都不保证收录或排名，它们只解决“哪些地址值得被处理”这个前置问题。
- 访问量或抓取量下降不能单独证明规则正确，也可能是抓取预算调整、外链变化或站点整体改版造成的。
把有效地址集合定义成一个可以被写出、被复核、被更新的有限清单，比追求覆盖所有参数组合更接近可维护的状态；当清单无法有限化时，承认这一点并整体排除，通常比逐条补救更可控。
