SEO优化干货:robots文件(协议)

 2015年9月7日 |  5 条评论 |   752

当搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

功能:robots协议用来告知搜索引擎那些页面能被抓取,哪些不能被抓取,可以屏蔽网站中比较大的文件如:图片 ,音乐 视频等节约服务器带宽;可以屏蔽站点的一些死链接。

SEO优化干货:robots文件(协议)

SEO优化干货:robots文件(协议)

robots文件的写法:百度站长平台
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以”.htm”为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图

例. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止百度蜘蛛访问其网站下其所有的目录
User-agent: Baiduspider
Disallow: /
允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
User-agent: *
Allow: /
允许某个搜索引擎的访问
User-agent: Baiduspider
allow:/
网站有三个目录对搜索引擎的访问做了限制
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

搜索引擎入口
向搜索引擎提交你的网站。只有提交了,它才有可能对你网站进行收录,才有机会展示在用户的面前

搜索引擎网站收录http://tool.lusongsong.com/addurl.html

网站提交时间
1.从seo 的角度来看,网站提交各大搜索引擎最佳的时间是:确定不会对已经生成的链接和内容进行大规模改动之后。
2.任何一个搜索引擎都不喜欢经常改动的网站,因为那意味着该网站不够稳定

site
写法:在浏览器www.baidu.com 或www.Google.com 搜索页面框输入
site:www.abc.com(将www.abc.com 换成你的域名)

外链是指从别的网站导入到自己的网站的链接。

更多阅读:

SEO干货:对SEO友好的HTML的语法规则

SEO优化干货:SEO网站优化一些基础知识

WORDPRESS教程:编辑WORDPRESS主题的FUNCTIONS.PHP文件注意事项

SEO优化干货:什么样的外链是作弊外链?

WORDPRESS教程:如何查看WORDPRESS分类目录、标签和文章的ID

文章字数统计:1562 | 百度已收录

  |  pc蛋蛋微信群/seo优化  


微部落博客编辑整理发布,如有侵犯您的版权,请提供相关版权证明,博主将立即删除。
·博客大全  博客网址之家  博客导航  来路IP首页展示!   ·免费收录  ·免费推广你的博客   114.vprol.com
如果本文对您有用就 打个赏吧微信 OR 支付宝 扫描二维码
pay_weixin     pay_weixin
金额随意,您的支持是我的动力~

草根站长,博客导航,博客大全,博客网站,增加网站流量
回复 取消

欢迎评论发言,灌水及广告评论将被定期删除!

已有 5 条评论

  1. 阿飞 2015-9-9 01:02回复
    貌似我的博客网站还木有ROBOTS文件啊。 😐
  2. 群伟伟博客 2015-9-8 13:48回复
    群伟伟是来点广告的,哈哈,欢迎部落哥回点哦。。[嘻嘻]
  3. 天中青年 2015-9-7 19:17回复
    干货 😮 微部落是个seo高手啊
  4. seo需要多学习。伟伟又坐到沙发了啊。欢迎回访。 😀
  5. 群伟伟博客 2015-9-7 13:49回复
    咦?群伟伟竟然坐了沙发。哈哈