网站seo优化了解入门爬虫技术原理二

摘 要

  爬虫架构上述是一个通用爬虫的整体流程,如果从更加宏观的角度考虑,处于动态 抓取 过程中的爬虫和 互联网 所有网页之间的关系,可以概括为以下个部分:已下载网页结合:爬虫已

  

爬虫架构上述是一个通用爬虫的整体流程,如果从更加宏观的角度考虑,处于动态抓取过程中的爬虫和互联网所有网页之间的关系,可以概括为以下个部分:已下载网页结合:爬虫已经从互联网下载到本地进行索引的网页集合, 过期网页结合:由于网页数量庞大,爬虫完整抓取一轮需要较长时间,在抓取过程中,很多已下载的网页可能已经更新了,从而导致过期, 如此,是因为互联网网页处于不断的动态变化过程中,所以易产生本地网页内容和真实互联网不一致的情况, 下载网页集合:处于待抓取队列中的网页,这些网页即将被爬虫下载, 网页集合:这些网页还没有被爬虫下载,也没有出现在待抓取队列中,通过已经抓取的网页或者在待抓取队列中的网页,总是能够通过链接关系发现它们,稍晚时候会被爬虫抓取并索引, 网页集合:有些网页对于爬虫是无法抓取到的,这部分网页构成了未知网页结合, 上,这部分网页所占的比例很高, 网页面划分从理解爬虫的角度看,对互联网网页给出如上划分有助于深入理解搜索引擎爬虫所面临的主要任务和挑战, 大多数爬虫系统遵循上文的流程,但是并非所有的爬虫系统都如此一致, 根据具体应用的不同爬虫系统在许多方面存在差异,大体而已,可以将爬虫系统分为如下种类型:批量型爬虫:批量型爬虫有比较明确的抓取范围和目标,当爬虫达到这个设定的目标后,即停止抓取过程, 具体目标可能各异,也许是设定抓取一定数量的网页即可,也许是设定抓取的时间等,各不一样, 型爬虫:增量型爬虫与批量型爬虫不同,会保持持续不断的抓取,对于抓取到的网页,要定期更新, 互联网网页处于不断变化中,新增网页、网页被删除或者网页内容更改都很常见,而增量型爬虫需要及时反映这种变化,所以处于持续不断的抓取过程中,不是在抓取新网页,就是在更新已有网页, 的商业搜索引擎爬虫基本都属此类, 型爬虫:垂直型爬虫关注特定主题内容或者属于特定行业的网页,比如对于健康网站来说,只需要从互联网页面里找到与健康相关的页面内容即可,其他行业的内容不在考虑范围, 型爬虫一个较大的特点和难点就是:如何识别网页内容是否属于指定行业或主题, 节省系统资源的角度来讲,不可能把所有互联网页面下载之后在进行筛选,这样会造成资源过度浪费,往往需要爬虫在抓取阶段就能够动态识别某个网址是否与主题相关,并尽量不去抓取无关页面,以达到节省资源的目的, 搜索网站或者垂直行业网站往往需要此种类型的爬虫, 扫码与项目经理沟通我们在微信上小时期待你的声音解答:网站优化网站建设优化开发小程序开发公司成立于年,是一家以提供网站建设、网站优化、开发、小程序开发、网络营销推广为主的专业公司, 以客户需求为导向客户利益为出发点,结合自身设计及专业建站优势,为客户提供从基础建设到营销推广的一整套解决方案,探索并实现客户商业价值较大化,为所有谋求长远发展的企业贡献全部力量

  • 66
    A+
发布日期:2019年10月09日  所属分类: Seo进阶