网站目录 » 资讯 » 互联网络 » 文章详细

我们查看网站日志的时候会看到百度蜘蛛:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.htm

来源:网络推荐 浏览次数:1508次 发布时间:2015-03-30

伪百度IP,比如:出现了 *.baidu.abc.com ,这个乍一看像极了,但是仔细一看,就看出来了,这个域名其实是abc.com。Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即为冒充,建议使用DNS反查方式来确定抓取来源的ip是否属于百度


例如,在linux平台下,可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer

baiduspider-123-125-66-120.crawl.baidu.com.


在windows平台下,可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。
点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\Documents and Settings\Administrator>nslookup 123.125.66.120
查询结果如下:
Name:     baiduspider-123-125-66-120.crawl.baidu.com

Address:   123.125.66.120

提示:

1、Baiduspider绝对不会以匿名的方式抓取网页

2、Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即是冒充

3、Nslookup(name server lookup)( 域名查询):是一个用于查询internet域名信息或诊断DNS服务器问题的工具

上图名称为:220.181.108.105这样的以名称中带有baiduspide,和crawl.baidu.com是属于百度自己服务器的蜘蛛,除此之外,都属于假蜘蛛。
发现假蜘蛛就要及时的在服务器上屏蔽这个IP。

我们查看网站日志的时候会看到百度蜘蛛:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)来爬行我们的网页。大家现在都知道有些站长工具或者采集程序,冒充百度蜘蛛来爬行我们的网站,那么我们怎么判断爬行我们网站的是不是真正的百度蜘蛛呢。

其实非常简单如果你用的是Windows操作系统那么可以用Windows自带的命令行命令tracert来判断是否只真正的百度蜘蛛。

首先查看百度蜘蛛的IP,然后点击开始运行,输入cmd,打开命令行,然后输入tracert 61.135.186.12,这里61.135.186.12代表网站日志里的百度蜘蛛的IP,那么可以看到如下的内容:

如果里面有crawl.baidu.com的内容,那么说明就是真正的百度蜘蛛,如假包换。

上面这个截图里面含有ad,(baiduspider-ad-61-135-186-12.crawl.baidu.com [61.135.186.12]),那么应该是百度联盟的蜘蛛用来抓取页面里的内容以便匹配广告用的。

如果是真正的百度蜘蛛那么就是类似于(baiduspider-123-125-71-23.crawl.baidu.com [123.125.71.23])这样的结果就是真正的百度蜘蛛。

经过观察LiboSEO自己网站的百度蜘蛛IP并经过测试得出:IP范围在220.181.108.11 ~ 220.181.108.210 之间和123.125.71.11 ~ 123.125.71.161之间的都是真正的百度蜘蛛IP。这样记录下经常见的百度蜘蛛IP,方便一眼就看出日志里的是否真正的百度蜘蛛。


相关文章