Nginx 配置禁止蜘蛛抓取网站无用页面教程

Meta 描述：Nginx 配置规则屏蔽搜索引擎抓取搜索页、分页、下载跳转页，减少无效收录，节省服务器爬虫带宽资源。

网站很多页面不希望被搜索引擎收录，例如搜索结果页、卡密弹窗页、下载中转页面，如果被大量抓取，会消耗服务器带宽，还会产生大量垃圾收录，影响网站权重。除了 robots.txt，Nginx 可以直接返回 http 状态码拒绝蜘蛛抓取。

操作步骤

1. 登录宝塔，网站设置，点击配置文件，找到 server {} 区块
2. 在 server 内部添加规则，区分百度蜘蛛 UA，匹配不希望收录的 url 路径
9. nginx

if ($http_user_agent ~* "Baiduspider") {
    if ($request_uri ~* "/search|/download-jump|/cardmi") {
        return 403;
    }
}

1. 保存配置，点击重载 Nginx，确认没有报错。

补充 robots.txt 配合写法

plaintext

User-agent: *
Disallow: /search
Disallow: /download-jump
Disallow: /admin

验证是否生效

1. 使用 curl 模拟百度蜘蛛 UA 访问页面，查看返回状态码
2. 百度资源平台抓取诊断工具，测试对应 url 返回码

注意事项

• 不要直接屏蔽真实资源详情页面，只屏蔽中转、搜索、后台地址
• 规则写错会造成全站无法访问，修改配置一定要重载测试。

小结：robots 只是建议，部分爬虫会无视 robots，Nginx 直接返回状态码，拦截效果更强，减少服务器无效抓取压力。