当前位置:首页 > seo教程

林记seo教你判断神马搜索蜘蛛 YisouSpider 详细及 User Agent 判断

林记seo2019-09-15954人围观

关于神马搜索蜘蛛 YisouSpider 在互联网前几年可谓是怨声载道,许多的网站被过于频繁的抓取而导致服务器瘫痪等情况不在少数,其实看 YisouSpider 这个蜘蛛的名称就应该知道,神马搜索的前身就是“宜搜”,如果林记seo博客博主没记错的话这曾经是一个小说搜索引擎,后来被阿里拿下就正式定位于手机搜索引擎。

     今天林记seo博客博主之所以又来说到神马搜索蜘蛛,并不是因为神马带来了非常客观的流量,只是因为神马最近开始支持 MIP 规范,而由于林记seo博客博主的一些网站接入 MIP 是用 User Agent 判断来做的代码适配,也就是说之前只是针对百度移动搜索蜘蛛和 mip 的 User Agent,而现在需要将网站的 MIP 端对神马搜索的开发,故而才有了今天的这篇文章。

先来看林记seo博客博主从网站日志中扒下来关于 YisouSpider 的几个记录:

42.156.136.21 - "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
42.156.137.44 - "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
42.156.138.31 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.14 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.33 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
106.11.156.57 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML

      在神马站长平台官网虽然看到了关于 YisouSpider 的一些介绍,却也描述得模棱两可,基本没有任何参考而言,网络上搜索了一些也全是 YisouSpider 几年前的东西了,所以无奈还是只能自己动手来看看了。

     通过上面林记seo博客博主扒下来的,通过通过 IP 段加上完整的 User Agent,通过 IP 观察可以发现这是同一个 IP 段,应该也就是服务器集群的一组 IP 池,基本可以判断为是神马搜索蜘蛛无疑,通过 User Agent 的内容则可以判断,一种为移动端的 User Agent,一种则为 PC 端的 User Agent。

 

    版权声明:

    博主在此发文(包括但不限于汉字、拼音、拉丁字母)均为随意敲击键盘所出,用于检验本人电脑键盘录入、屏幕显示的机械、光电性能,并不代表本人局部或全部同意、支持或者反对观点

    如需要详查请直接与键盘生产厂商法人代表联系。挖井挑水无水表,不会网购无快递。

    文章内容除非注明原创,否则来源于互联网,不代表本人的任何立场;涉及到的软件来源于互联网,仅供个人下载使用,请勿用于商业用途,版权归软件开发者所有,下载后请于24小时内删除,请支持正版!

    因下载本站任何资源造成的损失,全部责任由使用者本人承担!

    如果你是版权方,认为本文内容对您的权益有所侵犯,请联系博主,待博主进行严格地审查和背景调查后,情况属实的将在三天内将本文删除或修正。

    博主的文章没有高度、深度和广度,只是凑字数。由于博主的水平不高(其实是个菜B),不足和错误之处在所难免,希望大家能够批评指出。