网站禁止搜索引擎的抓取方法

2020-07-10    分类:其它    标签:SEO    阅读:249


timg (1).jpg

网站获得搜索引擎抓取是很多企业期待的,当然,某些特殊的情况是我们不愿意让网站抓取全部或部分内容。如果我们不想要搜索引擎索引网站的某些内容或全部内容,最好的办法就是借助rebots.txt文件。成都网站建设公司锐美网络,现在给大家说明一下如何禁止搜索引擎抓取网站的解决办法。

robots.txt文件是搜索引擎抓取协议,这个协议是目前大部分搜索引擎都需要遵守的,相当于搜索引擎的抓取引导。大部分搜索引擎都会按照这个文件的要求进行抓取网站内容,所以编写这个内容,就相当于给搜索引擎编写了一套引导大纲。不过要明确一点,robots.txt文件是一份协议,也就是搜索引擎可以遵守,也可以不遵守。

禁止所有的搜索引擎访问网站全部内容

    User-agent: *
    Disallow:/

禁止百度搜索引擎访问网站全部内容

  User-agent: Baiduspider
  Disallow:/

允许所有搜索引擎访问全部内容;也可以为空

  User-agent: *
  Allow:/

允许/禁止百度搜索引擎抓指定格式的图片

  User-agent: Baiduspider
  Allow: /*.gif$
  Disallow: /*.jpg$

允许/禁止百度搜索引擎抓取网站的动态页面

  User-agent: Baiduspider
  Allow: /*.php$
  Disallow: /*.jsp$


【腾讯云】云产品限时秒杀,爆款1核2G云服务器,首年99元 618年中云钜惠大促,精选云产品1折起,助力新基建,618年中大促云服务器88元

‘简忆博客’微信公众号 扫码关注‘简忆博客’微信公众号,获取最新文章动态
转载:请说明文章出处“来源简忆博客”。http://www.tpxhm.com/odetail/362.html

×
觉得文章有用就打赏一下文章作者
微信扫一扫打赏 微信扫一扫打赏
支付宝扫一扫打赏 支付宝扫一扫打赏

文章评论(0)

登录
头像

简忆博客
仕而优则学,学而优则仕。

置顶推荐

打赏本站

如果你觉得本站很棒,可以通过扫码支付打赏哦!
微信扫码:你说多少就多少~
微信扫码
支付宝扫码:你说多少就多少~
支付宝扫码
×