wordpress中robots规范写法robots.txt经验分享
对于WordPress robots.txt写法，中意wordpress程序的朋友们或多或少对robots.txt写法不会感到陌生吧。下面诸葛诺介绍一个很不错的 robots的写法，一起过来瞧瞧吧！robots.txt就是告诉搜索引擎哪些网页被爬行，它允许蜘蛛“看”哪些网页，哪些网页它不能“看到”。正因为 如此，robots.txt的元名称=“机器人”的标签，它告诉那些个别网页上的搜索引擎，他们是否可以包括在他们的指数或不同。所不同的是微妙的，但很 重要的。正因为如此有些建议robots.txt写法是错误的。
工具/原料
WordPress robots.txt
步骤/方法
1
让我解释一下：
谷 歌有时会列出它不允许蜘蛛，因为它被robots.txt拦截的URL，因为很多链接指向一个URL。一个很好的例子是一个搜索的RTL Nieuws (披露：RTL是我的一个客户端)。rtlnieuws.nl 301，重定向到新闻rtl.nl部分。但是...... rtlnieuws.nl / robots.txt的存在...
2
并具有下列内容：
User-agent: *
Disallow: /
3
正 因为如此，对rtlnieuws.nl联系不指望向新闻rtl.nl部分，谷歌在搜索结果中显示rtlnieuws.nl。这是不必要的行为，我们正在努 力解决，但现在这是一个很好的例子，我想解释什么。通过 阻断 / WP-ADMIN / / TRACKBACK /在您的robots.txt，你不会阻止他们显示出来。
4
不幸的是，最近/the /wp-admin/ block被添加到WordPress的核心，因为这Trac的标记。在会上的讨论，我提出了这个补丁中的另一个解决方案。此解决方案包括发送X- Robots-标签头，这是一个HTTP头相当于元名=“机器人”的标签。事实上，这 将删除从Google搜索结果中所有的wp-admin的目录。
WordPress的robots.txt的封锁搜寻结果和内容
有两个建议的robots.txt封锁的其他部分，/ *?，阻止一切有一个问号，这样所有的搜索结果，与* /饲料/阻止所有饲料。首先是不是一个好主意，因为如果有人链接到你的搜索结果，你不会从这些链接中受益。
5
一个更好的解决方案将添加 标签的搜索结果页，因为它会阻止从排名搜索结果，但会允许链接“汁”流过返回的文章和页面。这是我的WordPress的搜索引擎插件只要你启用它。同时，它也为WP-admin和登录和注册页面。
我知道，这是从不同的谷歌的指引， 这个主题的内容，哪个地区：www.yhzhan.com/cms
使用robots.txt可避免抓取搜索结果页或其他自动生成的网页，不添加来自搜索引擎的用户多少价值。
我伸出手来得到澄清，他们是否会说我的解决方案，以及可以接受的，或者甚至更好:)。
6
The other sections of the robots.txt 是个坏主意，因为RSS提要为谷歌实际上是一个有效的网站地图。阻止它会阻止谷歌使用，您的网站上找到新的内容。因此，我建议为WordPress的 robots.txt实际上是比法典小了 很多 。我只有这一点：
User-Agent: *
Disallow: /wp-content/plugins/
7
我阻止的插件目录，因为一些插件开发有自己的网站链接到他们的插件目录中添加index.php文件令人讨厌的习惯。对于所有其他地区的WordPress，为阻止有更好的解决方案。
其他WordPress的robots.txt的建议
8
所 建议的其他部分的robots.txt是有点老了，不再需要。DIGG镜子是我们的老家伙，谁记得，当DIGG用于发送流量负载的东 西，Googlebot的图片和媒体合作伙伴仍然存在，但如果你只有在您的robots.txt以上，您不需要在您为他们的具体线路WordPress的 robots.txt的文件。
好吧，看到这里，大家是不是对WordPress robots.txt 写法有个最新的认识了?还有更多知识，大家一起交流哈!