公告:网站目录为广大站长提供免费收录网站服务,VIP会员每天提交网站30、文章30免审核,快审服务(10元/站),可自助充值发布。

点击这里在线咨询客服 点击这里在线咨询客服
新站提交
  • 网站:351
  • 待审:0
  • 小程序:8
  • 文章:109
  • 会员:14

 

搜索引擎及搜索引擎蜘蛛是什么?

我在实战培训第一课讲搜索引擎基本工作原理时,都会给新人讲搜索引擎是什么,然后再来讲,搜索引擎蜘蛛是什么。那么,在这里再讲一下。主要分类如下:

1、按国内与国外分

国内: 百度、搜狗、360、神马(UC)、头条等; 国外: google、bing、yahoo、yandex(俄罗 斯 )等。

2、按PC与移动端分

PC:google、bing、yahoo、百度、搜狗、360

移动:神马、头条

PC 移动都有: google、bing、yahoo、百度、搜狗

当然除了上面介绍的通用搜索引擎,其实还有一些垂直的搜索引擎。比如像搜文库的豆丁网,搜索工作的职友集等等。

各个搜索引擎蜘蛛是什么?

这里的【蜘蛛】非生活现实中的蜘蛛,我们只是把搜索引擎去爬取各网页内容那个代码我们形象的称它为蜘蛛。

如何识别百度搜索引擎蜘蛛呢?

其实,很多新人SEO同学很少接触到搜索引擎蜘蛛,即使百度蜘蛛也未必能接触到。即使接触到了,也不知道它是不是。为什么呢?因为很多SEO新人没有分析网站日志,所以没看到。

如果你有分析过网站日志的话,就应该见过百度蜘蛛了(baiduspider)。

目前百度UA(useragent简称,即用户)分为移动、PC、和小程序三个应用场景来访,这三个渠道UA分别如下:

移动UA:

Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1MobileSafari/10600.6.3

(compatible;Baiduspider/2.0;

http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone;CPUiPhoneOS9_1likeMacOSX) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0(compatible;Baiduspider/2.0;

http://www.baidu.com/search/spider.html)

Mozilla/5.0(compatible;Baiduspider-render/2.0;

http://www.baidu.com/search/spider.html)

小程序UA:

Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible;Baiduspider-render/2.0;Smartapp; http://www.baidu.com/search/spider.html)

如果UA信息不对,可以直接判断为非百度搜索的蜘蛛。关于日志分析,可以看文尾相关推荐文章。

网站HTTP状态码是什么意思?有哪些?

网站的HTTP状态码是用以表示网页服务器超文本传输协议响应状态的3位数字代码。

文章来源:白杨seo

来源地址:https://www.baiyangseo.com/blog/189.html

申请创业报道,分享创业好点子。,共同探讨创业新机遇!

分享到:
43.6K

  白杨seo

注册时间:

网站:0 个   小程序:0 个  文章:0 篇

  • 351

    网站

  • 8

    小程序

  • 109

    文章

  • 14

    会员

赶快注册账号,推广您的网站吧!
最新入驻小程序

数独大挑战2018-06-03

数独一种数学游戏,玩家需要根据9

答题星2018-06-03

您可以通过答题星轻松地创建试卷

全阶人生考试2018-06-03

各种考试题,题库,初中,高中,大学四六

运动步数有氧达人2018-06-03

记录运动步数,积累氧气值。还可偷

每日养生app2018-06-03

每日养生,天天健康

体育训练成绩评定2018-06-03

通用课目体育训练成绩评定