最近，我们的一位用户问我们如何阻止搜索引擎抓取和索引他们的WordPress网站。
在几种情况下，您希望阻止搜索引擎抓取您的网站并将其列在搜索结果中。
在本文中，我们将向您展示如何阻止搜索引擎抓取WordPress网站。
为什么要阻止搜索引擎抓取WordPress网站？
对于大多数WordPress网站来说，搜索引擎是最大的流量来源。你可能会问，为什么有人想阻止搜索引擎？
以下是您不希望搜索引擎将您的网站编入索引的一些情况：
- 开始时，您可能不知道如何创建本地开发环境或暂存站点，而是在网站上线时开发网站。您不希望 Google 在您的网站正在建设或处于维护模式时将其编入索引。
- 也有很多人使用WordPress创建私人博客。他们不希望它们被搜索引擎索引，因为它们是私有的。
- 您可以使用WordPress进行项目管理或内部网。在这些情况下，您不希望公开访问内部文档。
一个常见的误解是，如果您没有指向您的域的链接，那么搜索引擎可能永远不会找到您的网站。这并不完全正确。
例如，可能有指向您网站的链接，因为该域名以前归其他人所有。此外，互联网上有数千个页面仅列出域名。您的网站可能会出现在其中一个网站上。
话虽如此，让我们来看看如何阻止搜索引擎抓取您的网站。我们将介绍四种方法：
- 要求搜索引擎不要抓取您的WordPress网站
- 要求搜索引擎不要抓取单个页面
- 使用cPanel保护整个站点的密码
- 使用插件保护WordPress的密码
方法1：要求搜索引擎不要抓取您的WordPress网站
这是最简单的方法，但不能完全保护您的网站不被抓取。
WordPress带有一个内置功能，允许您指示搜索引擎不要索引您的网站。您需要做的就是访问 设置 » 阅读 并选中“搜索引擎可见性”旁边的框。
选中此框后，WordPress会将此行添加到您网站的标题中：
<meta name='robots' content='noindex,follow' /> |
WordPress还会修改您网站的robots.txt文件，并向其添加以下行：
User-agent: *Disallow: / |
这些行要求机器人（网络爬虫）不要索引您的页面。但是，完全取决于搜索引擎是否接受或忽略此请求。尽管大多数搜索引擎都尊重该请求，但您网站上的某些页面或图片仍有可能被编入索引。
如果您想使搜索引擎无法索引或抓取您的网站，那么您需要使用方法 3 或 4 对您的 WordPress 网站进行密码保护。
您可能希望搜索引擎抓取您的网站并将其编入索引，但不要在搜索结果页中包含某些帖子或网页。
最简单的方法是使用多合一SEO（AIOSEO）插件。它是WordPress最好的SEO工具，受到超过3万家企业的信任。
在本教程中，我们将使用 AIOSEO 免费版本，因为它包含 SEO 分析工具。AIOSEO 还有一个高级版本，它提供了更多功能，如站点地图工具、重定向管理器、模式标记、机器人.txt编辑器等。
您需要做的第一件事是在您的网站上安装并激活 AIOSEO 插件。您可以按照我们关于如何为 WordPress 设置多合一 SEO 的分步指南来学习如何安装和配置插件。
设置插件后，您可以使用它要求搜索引擎不要索引某些帖子和页面。同样，完全取决于搜索引擎是否接受或忽略它。
只需编辑您不想被编入索引的帖子或页面即可。您需要向下滚动到WordPress编辑器底部的AIOSEO设置，然后单击“高级”选项卡。
请注意，本文使用的是默认机器人设置。
要更改此设置，您需要将“使用默认设置”开关切换到关闭位置。
现在，您可以单击“无索引”复选框。一旦帖子发布或更新，搜索引擎将被要求不要将其编入索引。
方法3：使用cPanel保护整个站点的密码
如果您的WordPress托管服务提供商提供cPanel访问权限来管理您的托管帐户，那么您可以使用cPanel保护您的整个网站。
您所要做的就是登录到cPanel仪表板，然后单击“文件”部分中的“目录隐私”图标。
接下来，您需要找到安装WordPress的文件夹。通常，它是public_html文件夹。
之后，只需单击该文件夹旁边的“编辑”按钮。
注意：如果您在目录下安装了多个WordPress站点，则需要单击链接以浏览这些站点，然后编辑要密码保护的网站的文件夹。public_htmlpublic_html
这会将您带到一个屏幕，您可以在其中打开密码保护。
只需选中“密码保护此目录”框，然后单击“保存”按钮。如果需要，还可以自定义受保护目录的名称。
您将看到一条确认消息，指出目录的访问权限已更改。
接下来，您必须单击“返回”按钮。
您将被带到一个屏幕，您可以在其中创建访问此目录时需要使用的用户名和密码。
您需要输入用户名和密码，然后确认密码。请务必在安全的地方记下您的用户名和密码，例如密码管理器应用程序。
单击“保存”按钮后，您已成功将密码保护添加到WordPress站点。
现在，每当用户或搜索引擎访问您的网站时，系统都会提示他们输入您之前创建的用户名和密码以查看该网站。
方法4：使用插件保护WordPress的密码
如果您使用的是托管的WordPress托管解决方案，则可能无法访问cPanel。在这种情况下，您可以使用WordPress插件对您的网站进行密码保护。
以下是两种最受欢迎的解决方案：
- SeedProd 是即将推出的 #1 和 WordPress 的维护模式插件，用于超过 800，000 个网站。它具有完整的访问控制和权限功能，您可以使用这些功能对所有人（包括搜索引擎）隐藏您的网站。我们有一个关于 SeedProd 的分步操作指南。
- 密码保护是一种非常简单的方法，可以使用单个密码对您的WordPress网站进行密码保护（无需创建用户）。请参阅我们有关如何密码保护WordPress网站的分步指南。
我们希望这篇文章能帮助您阻止搜索引擎抓取或索引您的WordPress网站。您可能还想查看我们关于如何加快网站性能的指南，或查看我们最好的 WordPress 登陆页面插件的专家选择。
原文链接：https://www.itaoda.cn/blog/4939.html，转载请注明出处。
评论0