大连企业或多站点团队维护外贸网站时，常把主站robots文件当成全网开关。对于不同子域，应先确认请求的主机和实际文件。共用一套代码不等于所有主机自动采用同一条规则，反过来也不能为图省事把测试站禁止配置复制给公开城市站。
先把完整来源写清
| 文件位置 | 可对应的范围 | 不应据此推断 |
|---|---|---|
| https://example.com/robots.txt | 对应该来源下的路径 | https://city.example.com也自动受其控制 |
| https://city.example.com/robots.txt | 该子域来源的路径 | 其他城市主机采用相同内容 |
| http://example.com/robots.txt | 相应协议来源 | HTTPS结果必然完全相同 |
| 带其他端口的来源 | 按实际规则范围核对 | 只看域名文字就完成判断 |
Google的robots规范说明规则对主机、协议和端口的适用范围，子域上的文件不自动覆盖其他子域。项目应保存实际读取的URL与返回内容，而不是只查看服务器上一个模板文件就认定所有公网结果正确。
按站点注册表做只读清单
多站robots核对记录
实际主机与协议：
公开robots地址：
返回状态及正文：
适用的用户代理组：
关键内容路径的规则判断：
地图地址及所属站：
与预期不同的地方：
拟修复范围及复测结果：抓取规则与访问权限分开验收
- 从动态站点清单取得真实主机，不手写过时列表。
- 只读检查公开文件及关键路径，不枚举私密内容。
- 确认地图地址对应本站真实内容。
- 处理差异后逐站复测，保留未完成项。
- 本应保护的资料由权限机制控制，不靠robots保密。
1列站确认实际主机。
2读文件获取真实公开结果。
3对范围按目标路径判断。
4修差异只修改经过确认的问题。
所有城市站可以用同一模板吗？
可以评估共享模板，但应保留本站地图等真实差异，并逐站检查最终输出。
同一服务器就代表作用域相同吗？
不是，公网来源和规则适用范围不能由服务器物理位置推断。