主页 > SEO培训 > 百度向来违反robots协议任意抓取

百度向来违反robots协议任意抓取

佚名 SEO培训 2020年05月27日

  百度向来违反robots协议任意抓取网页内容,在seo业内已不是什么新鲜事儿,不外好像国内的搜索引擎基本都不遵循robots协议,还有那个什么鬼的国搜也是。

  会长举加QQ公众号文章的例子说明一下。

  加QQ公众号的文章是可以有标签掩护的,如果有其他公众号抄袭你的文章,加QQ后台是能识别出来的,这是对文章的掩护。

加QQ的掩护

  我们随便找一篇公众号下的文章,搜索一下其中的段落,发现如下情况:

被抓取

文章已经被百度抓取并收录

  该篇文章从标题到全部的内容被百度爬取并收录,另有网页快照为证。

  再来看看加QQ公众平台的robots协议:https://mp.weixin.qq.com/robots.txt,并不允许搜索引擎spider爬取内页,不外百度还是完美的爬取了,值得表彰。

robots协议

  所以有些同学问为什么我屏蔽了某个目录还在抓取,不是你做的不对,而是百度吊炸天。

链接失效

不外这种动态长链接会失效,也就是有时效性

  本文百度向来违反robots协议任意抓取由词源SEO编辑,我们专注于SEO培训,所以专业。

广告位
标签: