精通Python网络爬虫：核心技术、框架与项目实战.3.7 实例——metaseeker
3.7 实例——metaseeker metaseeker是一款比较实用的网站数据采集程序，使用该采集程序，可以让大家比较快速、形象地了解爬虫的工作过程。所以在本节中，会以metaseeker为例，跟大家一起学习如何采集当当网的商品及价格信息，让大家对爬虫工作过程有一个形象地了解，为后续我们使用Python开发爬虫打下基础。 如图3-5所示，我们将为大家爬取当当网新书栏目下的商品的名称及价格等.....
精通Python网络爬虫：核心技术、框架与项目实战.3.6 网络爬虫实现技术
3.6 网络爬虫实现技术 通过前面的学习，我们基本上对爬虫的基本理论知识有了比较全面的了解，那么，如果我们要实现网络爬虫技术，要开发自己的网络爬虫，可以使用哪些语言进行开发呢？ 开发网络爬虫的语言有很多，常见的语言有：Python、Java、PHP、Node.JS、C++、Go语言等。以下我们将分别介绍一下用这些语言写爬虫的特点： Python：爬虫框架非常丰富，并且多线程的处理能力较强，并且.....
《精通Python网络爬虫：核心技术、框架与项目实战》——2.2 搜索引擎核心
本节书摘来自华章出版社《精通Python网络爬虫：核心技术、框架与项目实战》一书中的第2章，第2.2节，作者 韦 玮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2 搜索引擎核心 爬虫与搜索引擎的关系是密不可分的，既然提到了网络爬虫，就免不了提到搜索引擎，在此，我们将对搜索引擎的核心技术进行一个简单的讲解。 图2-2所示为搜索引擎的核心工作流程。首先，搜索引擎会利用爬虫模块去爬取....
精通Python网络爬虫：核心技术、框架与项目实战.3.5 身份识别
3.5 身份识别 在爬虫对网页爬取的过程中，爬虫必然需要访问对应的网页，正规的爬虫一般会告诉对应网页的网站站长其爬虫身份。网站的管理员则可以通过爬虫告知的身份信息对爬虫的身份进行识别，我们称这个过程为爬虫的身份识别过程。 那么，爬虫应该如何告知网站站长自己的身份呢？ 一般地，爬虫在对网页进行爬取访问的时候，会通过HTTP请求中的User Agent字段告知自己的身份信息。一般爬虫访问一个网站的.....
精通Python网络爬虫：核心技术、框架与项目实战.3.4 网页分析算法
3.4 网页分析算法 在搜索引擎中，爬虫爬取了对应的网页之后，会将网页存储到服务器的原始数据库中，之后，搜索引擎会对这些网页进行分析并确定各网页的重要性，即会影响用户检索的排名结果。 所以在此，我们需要对搜索引擎的网页分析算法进行简单了解。 搜索引擎的网页分析算法主要分为3类：基于用户行为的网页分析算法、基于网络拓扑的网页分析算法、基于网页内容的网页分析算法。接下来我们分别对这些算法进行讲解。.....
精通Python网络爬虫：核心技术、框架与项目实战.3.3 网页更新策略
3.3 网页更新策略 一个网站的网页经常会更新，作为爬虫方，在网页更新后，我们则需要对这些网页进行重新爬取，那么什么时候去爬取合适呢？如果网站更新过慢，而爬虫爬取得过于频繁，则必然会增加爬虫及网站服务器的压力，若网站更新较快，但是爬虫爬取的时间间隔较长，则我们爬取的内容版本会过老，不利于新内容的爬取。显然，网站的更新频率与爬虫访问网站的频率越接近，则效果越好，当然，爬虫服务器资源有限的时候，此.....
《精通Python网络爬虫：核心技术、框架与项目实战》——第2章 网络爬虫技能总览 2.1 网络爬虫技能总览图
本节书摘来自华章出版社《精通Python网络爬虫：核心技术、框架与项目实战》一书中的第2章，第2.1节，作者 韦 玮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 第2章 网络爬虫技能总览 在上一章中，我们已经初步认识了网络爬虫，那么网络爬虫具体能做些什么呢？用网络爬虫又能做哪些有趣的事呢？在本章中我们将为大家具体讲解。 2.1 网络爬虫技能总览图 如图2-1所示，我们总结了网络爬虫的....
精通Python网络爬虫：核心技术、框架与项目实战.3.2 爬行策略
3.2 爬行策略 在网络爬虫爬取的过程，在待爬取的URL列表中，可能有很多URL地址，那么这些URL地址，爬虫应该先爬取哪个，后爬取哪个呢？在通用网络爬虫中，虽然爬取的顺序并不是那么重要，但是在其他很多爬虫中，比如聚焦网络爬虫中，爬取的顺序非常重要，而爬取的顺序，一般由爬行策略决定。在这一节中，我们将为大家介绍一些常见的爬行策略。 爬行策略主要有深度优先爬行策略、广度优先爬行策略、大站优先策略.....
精通Python网络爬虫：核心技术、框架与项目实战.3.1 网络爬虫实现原理详解
摘要 通过前面章节的学习，我们已经基本认识了网络爬虫，那么网络爬虫应该怎么实现？核心技术又有哪些呢？在本篇中，我们首先会介绍网络爬虫的相关实现原理与实现技术；随后，讲解Urllib库的相关实战内容；紧接着，带领大家一起开发几种典型的网络爬虫，让大家在实战项目中由浅入深地掌握Python网络爬虫的开发；在学会了一些经典的网络爬虫开发之后，我们将一起研究学习Fiddler抓包分析技术、浏览...
精通Python网络爬虫：核心技术、框架与项目实战.2.4 小结
2.4 小结 1）爬虫的出现，可以在一定程度上代替手工访问网页，所以，原先我们需要人工去访问互联网信息的操作，现在都可以用爬虫自动化实现，这样可以更高效率地利用好互联网中的有效信息。 2）检索是一种行为，而索引是一种属性。如果有一个好的索引，则可以提高检索的效率，若没有索引，则检索的效率会很低。 3）用户爬虫是网络爬虫的其中一种类型。所谓用户爬虫，即专门用来爬取互联网中用户数据的一种爬虫。由于.....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
大数据
大数据计算实践乐园，近距离学习前沿技术
+关注