案例实战 · 4 / 14

Vue/React 搜不到：robots、noindex、SSR 怎么查？

很多新手容易犯迷糊：我的网址在浏览器里能打开，怎么就搜不到呢？

案例实战案例第 4 / 14 讲图文可选练习

原文 黄啊码 · 课程框架 洛小山 · 整理 2026-10-18

这一讲会解决哪些问题
  1. 爬虫来看了一眼，和把你放进数据库是两码事
  2. 门口的保安告示，和门后的纸条
  3. 给爬虫带路的菜单，别塞一堆错误地址
  4. 花里胡哨看够了，正文却是一张白纸
  5. 爬虫得顺着真正的链接一页一页逛
  6. 不知道收没收录，先把检查口径弄清楚

爬虫来看了一眼，和把你放进数据库是两码事

这里有两个概念：抓取（爬虫顺着网线爬进来看了一眼）和收录（爬虫觉得你写得还行，把你放进了搜索数据库里）。

门口的保安告示，和门后的纸条

有几个点必须看紧了，如果你做的网页是企业内部站点，更要注意了：

  • robots.txt：这是门口的保安告示，如果上面写了禁止爬虫访问，爬虫扭头就走；
  • noindex：这是贴在门后的纸条，意思是“你可以进来看，但别把我登报纸上”；
允许抓取的网页带 noindex，不进入索引书架
允许抓取与允许索引是两件事；公开页面的 noindex 必须能被爬虫读取。

花里胡哨看够了，正文却是一张白纸

现在的开发老哥都喜欢用 Vue 或 React 搞单页应用（SPA），看着各种动效很炫，但对爬虫来说就是：😡 你是在难为我，我只看代码，看文字，不是来看你花里胡哨。

为什么？因为有时候浏览器打开要等半天 JavaScript 加载数据，搜索引擎爬虫耐心很差，如果接口卡一下或者脚本报错，它抓到的可能就是一张白纸。

怎么避坑？

  • 做核心业务和文章页面，老老实实用服务端渲染（SSR）或者预渲染，让服务器吐出来的第一波 HTML 源码里就有大白话正文。
小狗操作 SSR 印刷机，初始 HTML 带有正文
SSR 或预渲染让初始 HTML 带有正文，仍需核查实际响应、脚本与访问条件。
小狗用活页环把首页、分类、文章和相关服务连接起来
核心页面通过可解析的普通链接连接，让用户和爬虫都能继续访问。

不知道收没收录，先把检查口径弄清楚

国内站看百度搜索资源平台，海外看 Google Search Console（GSC），有了后台，你就不用瞎猜，看数据对症下药：

  • 页面根本没收录：先查代码是不是把爬虫挡了，或者页面是不是空白没渲染出来，还是不知道，用 site:网址；
动手练习与检查工具

以下为整理时补充的练习，可按自己的业务填写；文章正文取自黄啊码原文段落。

示例 · 不同目标使用不同控制

生产公开页、公开但不参与搜索的页面、受权限保护的内部页，需要分别配置。以下仅示意 noindex 与普通链接，不能把 noindex 用作内部资料的访问保护。

<!-- 仅用于希望公开可访问、但不希望被索引的页面 -->
<meta name="robots" content="noindex">

<!-- 核心页面使用可解析链接；目标应能直接访问 -->
<a href="/guides/deploy">查看部署条件与检查步骤</a>

把这一讲用到自己的业务

  1. 确认公开范围先确认页面本来就适合对外公开。内部资料保持权限，必要时单独制作公开说明，不为索引盲目移除认证。
  2. 核对响应同时检查状态与正文，测试正常、迁移和不存在的路径。对 JavaScript 页面比较初始响应和渲染结果。
  3. 核对规则检查 robots、noindex、规范地址和地图是否与目标一致。记录实际读到的规则，不只看后台配置界面。
  4. 复查处理完成必要修改后记录版本，再通过站长工具和实际访问复查。索引与排名另行观察，不把提交按钮当完成证明。

本节交付：一份逐 URL 的技术证据表，包含访问条件、响应、渲染、抓取与索引规则，以及修改后的复查记录。

判断一下 · 页面已被 robots 禁抓，又加入 noindex，能保证搜索系统看到新规则吗？

本节判断题单选
页面已被 robots 禁抓，又加入 noindex，能保证搜索系统看到新规则吗？
直接阅读答案说明

支持 noindex 的搜索系统需要读取标签或响应头。抓取限制、索引规则与私密内容的访问权限，应按不同目标分别配置。

动手 · 写下自己的检查记录

本节工作单填写与导出

只在当前页面整理输入，可导出到本地；不会查询外部 AI 或自动验证事实。

填写后点击“整理记录”。输入不会自动保存，离开前可导出。