大部分网站制作者或者网站优化的人对于Robots.txt文件，应该并不陌生。因为在有些情况下，我们并不想让网站的全部内容都让搜索引擎收录。 
      比如说一些网站后台管理目录、会员隐私信息、没有价值的网页、图片等，我们都不打算让搜索引擎的蜘蛛爬取。在这种情况下，我们就有必要会用到Robots.txt文件，来与搜索引擎沟通。
      具体的方式是通过在网站根目录创建名为:robots.txt的文件,你就可以阻止蜘蛛来索引网站的某些内容，如动态的搜索结构页面404页面、图片目录、登陆页面等。
      所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件，所以你只需创建它并上传，然后等待蜘蛛来阅读。
      Robots.txt文件没有以任何方式来保护你的内容，只是阻止搜索引擎索引。下面，北京新思源网络主要说明下Robots.txt文件的写法：
1.如果你站点中的所有文件，都可以让蜘蛛爬取、收录的话，那么语法这样写:
User-agent: *
Disallow:
当然，如果你想网站中全部的文件都可以让搜索引擎索引的话，你也可以不用写这个文件。
2.完全禁止搜索引擎来访的Robots.txt文件写法:
User-agent: *
Disallow: /
2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法:
User-agent: Googlebot
Disallow: /
3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:
User-agent: *
Disallow: /admin/
Disallow: /images/
4.禁止Google抓取网站中的图片文件:
User-agent: Googlebot
Disallow: /*.gif$
到这Robots.txt文件的全部写法已经一一列出大部分网站制作者或者网站优化的人对于Robots.txt文件，应该并不陌生。因为在有些情况下，我们并不想让网站的全部内容都让搜索引擎收录。 
      比如说一些网站后台管理目录、会员隐私信息、没有价值的网页、图片等，我们都不打算让搜索引擎的蜘蛛爬取。在这种情况下，我们就有必要会用到Robots.txt文件，来与搜索引擎沟通。
      具体的方式是通过在网站根目录创建名为:robots.txt的文件,你就可以阻止蜘蛛来索引网站的某些内容，如动态的搜索结构页面404页面、图片目录、登陆页面等。
      所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件，所以你只需创建它并上传，然后等待蜘蛛来阅读。
      Robots.txt文件没有以任何方式来保护你的内容，只是阻止搜索引擎索引。下面，北京新思源网络主要说明下Robots.txt文件的写法：
1.如果你站点中的所有文件，都可以让蜘蛛爬取、收录的话，那么语法这样写:
User-agent: *
Disallow:
当然，如果你想网站中全部的文件都可以让搜索引擎索引的话，你也可以不用写这个文件。
2.完全禁止搜索引擎来访的Robots.txt文件写法:
User-agent: *
Disallow: /
2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法:
User-agent: Googlebot
Disallow: /
3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:
User-agent: *
Disallow: /admin/
Disallow: /images/
4.禁止Google抓取网站中的图片文件:
User-agent: Googlebot
Disallow: /*.gif$
到这Robots.txt文件的全部写法已经一一列出