所有分类
  • 所有分类
  • WP插件Pro
  • HTML模板
  • 微信小程序模板
  • 源码

如何阻止搜索引擎抓取WordPress网站

最近,我们的一位用户问我们如何阻止搜索引擎抓取和索引他们的WordPress网站。

在几种情况下,您希望阻止搜索引擎抓取您的网站并将其列在搜索结果中。

在本文中,我们将向您展示如何阻止搜索引擎抓取WordPress网站。

如何阻止搜索引擎抓取WordPress网站

为什么要阻止搜索引擎抓取WordPress网站?

对于大多数WordPress网站来说,搜索引擎是最大的流量来源。你可能会问,为什么有人想阻止搜索引擎?

以下是您不希望搜索引擎将您的网站编入索引的一些情况:

  • 开始时,您可能不知道如何创建本地开发环境或暂存站点,而是在网站上线时开发网站。您不希望 Google 在您的网站正在建设或处于维护模式时将其编入索引。
  • 也有很多人使用WordPress创建私人博客。他们不希望它们被搜索引擎索引,因为它们是私有的。
  • 您可以使用WordPress进行项目管理或内部网。在这些情况下,您不希望公开访问内部文档。

一个常见的误解是,如果您没有指向您的域的链接,那么搜索引擎可能永远不会找到您的网站。这并不完全正确。

例如,可能有指向您网站的链接,因为该域名以前归其他人所有。此外,互联网上有数千个页面仅列出域名。您的网站可能会出现在其中一个网站上。

话虽如此,让我们来看看如何阻止搜索引擎抓取您的网站。我们将介绍四种方法:

  1. 要求搜索引擎不要抓取您的WordPress网站
  2. 要求搜索引擎不要抓取单个页面
  3. 使用cPanel保护整个站点的密码
  4. 使用插件保护WordPress的密码

方法1:要求搜索引擎不要抓取您的WordPress网站

这是最简单的方法,但不能完全保护您的网站不被抓取。

WordPress带有一个内置功能,允许您指示搜索引擎不要索引您的网站。您需要做的就是访问 设置 » 阅读 并选中“搜索引擎可见性”旁边的框。

WordPress中的搜索引擎可见性设置

选中此框后,WordPress会将此行添加到您网站的标题中:

<meta name='robots' content='noindex,follow' />

WordPress还会修改您网站的robots.txt文件,并向其添加以下行:

User-agent: *
Disallow: /

这些行要求机器人(网络爬虫)不要索引您的页面。但是,完全取决于搜索引擎是否接受或忽略此请求。尽管大多数搜索引擎都尊重该请求,但您网站上的某些页面或图片仍有可能被编入索引。

如果您想使搜索引擎无法索引或抓取您的网站,那么您需要使用方法 3 或 4 对您的 WordPress 网站进行密码保护。

您可能希望搜索引擎抓取您的网站并将其编入索引,但不要在搜索结果页中包含某些帖子或网页。

最简单的方法是使用多合一SEO(AIOSEO)插件。它是WordPress最好的SEO工具,受到超过3万家企业的信任。

在本教程中,我们将使用 AIOSEO 免费版本,因为它包含 SEO 分析工具。AIOSEO 还有一个高级版本,它提供了更多功能,如站点地图工具、重定向管理器、模式标记、机器人.txt编辑器等。

您需要做的第一件事是在您的网站上安装并激活 AIOSEO 插件。您可以按照我们关于如何为 WordPress 设置多合一 SEO 的分步指南来学习如何安装和配置插件。

设置插件后,您可以使用它要求搜索引擎不要索引某些帖子和页面。同样,完全取决于搜索引擎是否接受或忽略它。

只需编辑您不想被编入索引的帖子或页面即可。您需要向下滚动到WordPress编辑器底部的AIOSEO设置,然后单击“高级”选项卡。

AIOSEO 高级设置

请注意,本文使用的是默认机器人设置。

要更改此设置,您需要将“使用默认设置”开关切换到关闭位置。

要求搜索引擎不要索引单个页面

现在,您可以单击“无索引”复选框。一旦帖子发布或更新,搜索引擎将被要求不要将其编入索引。

方法3:使用cPanel保护整个站点的密码

如果您的WordPress托管服务提供商提供cPanel访问权限来管理您的托管帐户,那么您可以使用cPanel保护您的整个网站。

您所要做的就是登录到cPanel仪表板,然后单击“文件”部分中的“目录隐私”图标。

使用 cPanel 的目录隐私功能

接下来,您需要找到安装WordPress的文件夹。通常,它是public_html文件夹。

之后,只需单击该文件夹旁边的“编辑”按钮。

编辑根文件夹

注意:如果您在目录下安装了多个WordPress站点,则需要单击链接以浏览这些站点,然后编辑要密码保护的网站的文件夹。public_htmlpublic_html

这会将您带到一个屏幕,您可以在其中打开密码保护。

只需选中“密码保护此目录”框,然后单击“保存”按钮。如果需要,还可以自定义受保护目录的名称。

选中复选框以密码保护此目录

您将看到一条确认消息,指出目录的访问权限已更改。

接下来,您必须单击“返回”按钮。

cPanel 的目录隐私成功消息

您将被带到一个屏幕,您可以在其中创建访问此目录时需要使用的用户名和密码。

您需要输入用户名和密码,然后确认密码。请务必在安全的地方记下您的用户名和密码,例如密码管理器应用程序。

添加用户名和密码

单击“保存”按钮后,您已成功将密码保护添加到WordPress站点。

现在,每当用户或搜索引擎访问您的网站时,系统都会提示他们输入您之前创建的用户名和密码以查看该网站。

现在需要用户名和密码才能访问您的网站

方法4:使用插件保护WordPress的密码

如果您使用的是托管的WordPress托管解决方案,则可能无法访问cPanel。在这种情况下,您可以使用WordPress插件对您的网站进行密码保护。

以下是两种最受欢迎的解决方案:

  1. SeedProd 是即将推出的 #1 和 WordPress 的维护模式插件,用于超过 800,000 个网站。它具有完整的访问控制和权限功能,您可以使用这些功能对所有人(包括搜索引擎)隐藏您的网站。我们有一个关于 SeedProd 的分步操作指南。
  2. 密码保护是一种非常简单的方法,可以使用单个密码对您的WordPress网站进行密码保护(无需创建用户)。请参阅我们有关如何密码保护WordPress网站的分步指南。

我们希望这篇文章能帮助您阻止搜索引擎抓取或索引您的WordPress网站。您可能还想查看我们关于如何加快网站性能的指南,或查看我们最好的 WordPress 登陆页面插件的专家选择。

原文链接:https://www.itaoda.cn/blog/4939.html,转载请注明出处。

0
使用和安装有任何问题
请加客服QQ:1442071397 或wechat:pufei889


免责声明

本站所发布的部分内容自网络,该部分内容限用于学习和研究目,有版权问题的,下载后的24个小时之内,从您的电脑中彻底删除。且不得将用于商业或者非法用途,否则,一切后果请用户自负,与本站无关。

评论0

请先
没有账号?注册  忘记密码?

社交账号快速登录

温性提示

演示站服务器在国外,网站打开速度有点慢,请耐心等待

多功能、多行业外贸商城 wordpress商城WOOCOMMERCE

23+
行业模板