请确保 Google 意在抓取的所有资源(图片、CSS 文件等)或网页均可供 Google 访问;也就是说,它们没有被任何 robots.txt 规则屏蔽,并且可供匿名用户访问。无法访问的网页不会显示在“索引涵盖范围”报告中,而网址检查工具会将其显示为未抓取。被屏蔽的资源仅会在网址检查工具中显示为具体网址级资源。如果某个网页上的重要资源被屏蔽,这可能会导seo网站推广岗位要求致 Google 无法正确抓取您的网页。使用网址检查工具可以呈现实际网页,以验证 Google 能否看到您所预期的网页样貌。
使用 robots.txt 规则可以阻止系统抓取内容,使用站点地图可以帮助系统抓取内容。您可以禁止 Google 抓取网站上的重复内容,或禁止其抓取不太重要的资源(例如图标或徽标之类的常用小图片),以免使您的服务器收到过多请求。不要将 robots.txt 用作一种阻止 Google 将内容编入索引的机制;而应借助 noindex 或登录要求实现此目的。详细了解如何阻止 Google 访问您的内容。
站点地图
站点地图是一种非常重要的方法,可以告知 Google 哪些网页对您的网站很重要,同时还提供其他信息(例如更新频率),并且对于抓取非文字内容(例如图片或视频)也很重要。虽然 Google 不会只抓取站点地图中列出的网页,但它会优先抓取这些网页。对于内容随时变化的网站或可能无法通过链接发现的网页,这一点尤为重要。使用站点地图有助于 Google 发现网站上可供抓取的网页,并优先抓取这些网页。点击此处可详细了解站点地图。
国际化网站或多语言网站
如果您的网站包含多种语言,或者以特定语言区域的用户为目标用户,请注意以下几点:
了解多区域和多语言网站,获取关于如何管理针对不同语言或区域提供本地化内容的网站的高级建议。
使用 hreflang 告知 Google 网站上的网页的不同语言版本。
如果网站会根据请求的语言区域调整其网页内容,请了解这对 Google 抓取网站的方式有何影响。
如果网站使用通用顶级域名(.com、.org),而非基于语言区域的顶级域名(.ch、.in),您可以告知 Google 将搜索结果定位到哪些国家/地区。
迁移网页或网站
如果您可能需要迁移单个网址乃至整个网站,请遵循以下指南:
迁移单个网址
如果您将网页永久迁移至其他地址,请记得为您的网页实现 301 重定向。如果由于某种原因而只是暂时迁移,则返回 302 以告知 Google 应该继续抓取您的网页。