双鸭山robots.txt文件如何去写?

发表日期:2019-11-01 浏览次数:

robots.txt文件的写法
User-agent: *    这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/   这里定义是禁止爬寻require目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC 这里定义是禁止爬寻ABC整个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: *   这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/  这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片

用法举例:
1. 允许所有的robot访问
User-agent: * Allow: / 或者 User-agent: * Disallow:
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
11. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
12. 仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$

优质文章推荐

双鸭山网站文章标题的写作技

SEO 文章的标题是一篇文章的核心部分,因为SEO标题是对网站内容文章页的主要总结,...

日期:2020-06-23   浏览次数:4665

双鸭山title标签和meta描述标签

Title 和 Meta 标签 以.html 或.htm 为扩展名的 HTML 文档称为静态网页。Meta 称为元标志,用...

日期:2020-06-20   浏览次数:4679

双鸭山seo内部链接优化的技巧

许多网站做得不好,原因是内部链接的seo优化细节并不理想。正如俗话说的,我们必...

日期:2020-06-19   浏览次数:5464

双鸭山seo的赚钱方法都有哪些

我深深的想要通过的自己的SEO技术赚钱。其实,掌握一门技术是次要方面,学会把技...

日期:2020-06-18   浏览次数:3069

双鸭山网站里面的tdk是什么意

T指的是title,也就是标题。 D指的是description,也就是网页的描述。K指的是keywords,就...

日期:2020-05-23   浏览次数:5642

双鸭山百度熊掌号有对网站有

百度熊掌号是2018年百度主推的一个产品,关于熊掌号和百家号的区别,简单一点理解...

日期:2019-11-13   浏览次数:2359

双鸭山数据库如何优化性能

1、配置优化 配置的优化其实包含两个方面的:操作系统内核的优化和mysql配置文件的...

日期:2019-11-04   浏览次数:2872

双鸭山网站关键词布局的重要

一个网站除了主关键词的seo优化,还有长尾关键词布局非常重要。因为涉及到网站后...

日期:2020-05-23   浏览次数:5129

双鸭山网站一直不收录怎么回

1.看网站是否有搜索引擎蜘蛛的抓取 这一步需要从服务器下载服务器访问日志,使用...

日期:2019-12-18   浏览次数:2549

双鸭山织梦二级域名怎么绑定

之前用织梦做个网站想用二级域名绑定导航栏目,看了一些网上的介绍又结合了自己...

日期:2020-01-05   浏览次数:1924