成都云网客浅谈:熟悉和理解网络爬虫
2018-10-30 来自: 成都网聚时代科技有限公司 浏览次数:247
网络爬虫是SEO人员应该学习的基础知识之一,熟悉和理解网络爬虫有助于好地优化网站。盼望本次的SEO技术培训对大家有所帮助。
一、网络爬虫简介
网络爬虫,是指按照肯定的规则、主动抓取互联网上信息的程序组件或脚本程序。在搜索引擎中,网络爬虫就是搜索引擎发现和抓取文档的主动化程序。
二、网络爬虫产生的背景
互联网信息大爆炸,人们不知足于仅仅寄托开放目录等传统体例在网络上探求一些东西,为了知足不同的人的不同需求,于是出现了网络爬虫。
三、网络爬虫面临的题目
在上一篇文章《搜索引擎的基本架构》中提到的,搜索引擎架构的两个目标是结果和服从,这同样也是对网络爬虫提出的要求。面对亿级网页数量,重复内容很高,在SEO行业重复率可能在50%以上,网络爬虫面临的题目是为了进步服从和结果,就必要在肯定的时间内获得更多有高质量页面,放弃那些原创度低、复制内容、拼接内容等页面。
PS:当然,在大网站发布出来的文章,尤其大站效应,尽管不是首发,但依然排名很好,甚至比首发站排名还好。
四、网络爬虫的分类和策略
网络爬虫有许多种类,简单介绍以下几种:
① 通用网络爬虫
通用网络爬虫,又称为“全网爬虫”网站优化,从一些种子网站开始爬行,渐渐扩展到整个互联网。
通用网络爬虫策略:深度优先策略和广度优先策略。
② 聚焦网络爬虫
聚焦网络爬虫,又称为“主题网络爬虫”,预先选择一个(或几个)相干主题,仅爬行并抓取这一类的相干页面。
聚焦网络爬虫策略:聚焦网络爬虫增长了链接和内容评价模块,所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。
③ 增量式网络爬虫
增量式网络爬虫,是指对已经收录的页面进行更新、爬行新页面和发生转变的页面。
增量式网络爬虫策略:广度优先策略和PageRank优先策略等。
④ Deep Web爬虫
搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”成都人事考试网,某些不能通过静态链接获得的页面称之为“深层网页”,Deep Web爬虫就是抓取深层网页的爬虫系统。
小结:一样平常来讲,网络爬虫抓取策略分为三种:
1)广度优先
搜索完当前页面所有链接,才开始进入下一层。
2)最佳优先
根据肯定的网页分析算法,比如链接算法和页面加权算法等,优先抓取更具有价值的页面。
3)深度优先
顺着一个链接一向爬行,直到某一页面再也没有链接,再开始爬行另外一条。但是一样平常都是从种子网站开始抓取,假如采用这种情势可能会造成抓取的页面质量越来越低,所以这种策略使用较少。