如何使用robots.txt Seo优化需要知道的
robots.txt文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的，在它们访问网页前会查看是否存在限制其访问特定网页的robots.txt文件。如果你想保护网站上的某些内容不被搜索引擎收入的话，robots.txt是一个简单有效的工具。这里简单介绍一下怎么使用它。
如何放置Robots.txt文件
robots.txt自身是一个文本文件。它必须位于域名的根目录中并被命名为"robots.txt"。位于子目录中的robots.txt文件无效，因为漫游器只在域名的根目录中查找此文件。例如，http://www.example.com/robots.txt是有效位置，http://www.example.com/mysite/robots.txt则不是。
这里举一个robots.txt的例子:
User-agent:*Disallow:/cgi-bin/Disallow:/tmp/Disallow:/~name/
使用robots.txt文件拦截或删除整个网站
要从搜索引擎中删除您的网站，并防止所有漫游器在以后抓取您的网站，请将以下robots.txt文件放入您服务器的根目录：
User-agent:*Disallow:/
要只从Google中删除您的网站，并只是防止Googlebot<>将来抓取您的网站，请将以下robots.txt文件放入您服务器的根目录：
User-agent:GooglebotDisallow:/
每个端口都应有自己的robots.txt文件。尤其是您通过http和https托管内容的时候，<QQ伤感个性签名>这些协议都需要有各自的robots.txt文件。例如，要让Googlebot只为所有的http网页而不为https网页编制索引，应使用下面的robots.txt文件。
对于http协议(http://yourserver.com/robots.txt):
User-agent:*Allow:/
对于https协议(https://yourserver.com/robots.txt):
User-agent:*Disallow:/
允许所有的漫游器访问您的网页
User-agent:*Disallow:
(另一种方法:建立一个空的"/robots.txt"文件,或者不使用robot.txt。)
使用robots.txt文件拦截或删除网页
您可以使用robots.txt文件来阻止Googlebot抓取您网站上的网页。例如，如果您正在手动创建robots.txt文件以阻止Googlebot抓取某一特定目录下（例如，private）的所有网页，可使用以下robots.txt条目：
User-agent:GooglebotDisallow:/private
要阻止Googlebot抓取特定文件类型（例如，.gif）的所有文件，可使用以下robots.txt条目：
User-agent:GooglebotDisallow:/*.gif$
要阻止Googlebot抓取所有包含?的网址（具体地说，这种网址以您的域名开头，后接任意字符串，然后是问号，而后又是任意字符串），可使用以下条目：
User-agent:GooglebotDisallow:/*?
尽管我们不抓取被robots.txt拦截的网页内容或为其编制索引，但如果我们在网络上的其他网页中发现这些内容，我们仍然会抓取其网址并编制索引。因此，网页网址及其他公开的信息，例如指向该网站的链接中的定位文字，有可能会出现在Google搜索结果中。不过，您网页上的内容不会被抓取、编制索引和显示。
作为网站管理员工具的一部分，Google提供了robots.txt分析工具。它可以按照Googlebot读取robots.txt文件的相同方式读取该文件，并且可为Google user-agents（如Googlebot）提供结果。我们强烈建议您使用它。在创建一个robots.txt文件之前，有必要考虑一下哪些内容可以被用户搜得到，而哪些则不应该被搜得到。这样的话，通过合理地使用robots.txt,搜索引擎在把用户带到您网站的同时，又能保证隐私信息不被收录。