精通Python网络爬虫：核心技术、框架与项目实战导读
前 言 为什么写这本书 网络爬虫其实很早就出现了，最开始网络爬虫主要应用在各种搜索引擎中。在搜索引擎中，主要使用通用网络爬虫对网页进行爬取及存储。 随着大数据时代的到来，我们经常需要在海量数据的互联网环境中搜集一些特定的数据并对其进行分析，我们可以使用网络爬虫对这些特定的数据进行爬取，并对一些无关...
《精通Python网络爬虫：核心技术、框架与项目实战》——3.2 爬行策略
本节书摘来自华章出版社《精通Python网络爬虫：核心技术、框架与项目实战》一书中的第3章，第3.2节，作者 韦 玮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.2 爬行策略 在网络爬虫爬取的过程，在待爬取的URL列表中，可能有很多URL地址，那么这些URL地址，爬虫应该先爬取哪个，...
《精通Python网络爬虫：核心技术、框架与项目实战》——2.4 小结
本节书摘来自华章出版社《精通Python网络爬虫：核心技术、框架与项目实战》一书中的第2章，第2.4节，作者 韦 玮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.4 小结 1）爬虫的出现，可以在一定程度上代替手工访问网页，所以，原先我们需要人工去访问互联网信息的操作，现在都可以用爬虫...
精通Python网络爬虫：核心技术、框架与项目实战.3.8 小结
3.8 小结 1）聚焦网络爬虫，由于其需要有目的地进行爬取，所以对于通用网络爬虫来说，必须要增加目标的定义和过滤机制，具体来说，此时，其执行原理和过程需要比通用网络爬虫多出3步，即目标的定义、无关链接的过滤、下一步要爬取的URL地址的选取。 2）常见的网页更新策略主要有3种：用户体验策略、历史数据策...
《精通Python网络爬虫：核心技术、框架与项目实战》——2.3 用户爬虫的那些事儿
本节书摘来自华章出版社《精通Python网络爬虫：核心技术、框架与项目实战》一书中的第2章，第2.3节，作者 韦 玮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.3 用户爬虫的那些事儿 用户爬虫是网络爬虫中的一种类型。所谓用户爬虫，指的是专门用来爬取互联网中用户数据的一种爬虫。由于互...
精通Python网络爬虫：核心技术、框架与项目实战.3.7 实例——metaseeker
3.7 实例——metaseeker metaseeker是一款比较实用的网站数据采集程序，使用该采集程序，可以让大家比较快速、形象地了解爬虫的工作过程。所以在本节中，会以metaseeker为例，跟大家一起学习如何采集当当网的商品及价格信息，让大家对爬虫工作过程有一个形象地了解，为后续我们使用Py...
《精通Python网络爬虫：核心技术、框架与项目实战》——2.2 搜索引擎核心
本节书摘来自华章出版社《精通Python网络爬虫：核心技术、框架与项目实战》一书中的第2章，第2.2节，作者 韦 玮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2 搜索引擎核心 爬虫与搜索引擎的关系是密不可分的，既然提到了网络爬虫，就免不了提到搜索引擎，在此，我们将对搜索引擎的核心...
精通Python网络爬虫：核心技术、框架与项目实战.3.5 身份识别
3.5 身份识别 在爬虫对网页爬取的过程中，爬虫必然需要访问对应的网页，正规的爬虫一般会告诉对应网页的网站站长其爬虫身份。网站的管理员则可以通过爬虫告知的身份信息对爬虫的身份进行识别，我们称这个过程为爬虫的身份识别过程。 那么，爬虫应该如何告知网站站长自己的身份呢？ 一般地，爬虫在对网页进行爬取访问...
精通Python网络爬虫：核心技术、框架与项目实战.3.4 网页分析算法
3.4 网页分析算法 在搜索引擎中，爬虫爬取了对应的网页之后，会将网页存储到服务器的原始数据库中，之后，搜索引擎会对这些网页进行分析并确定各网页的重要性，即会影响用户检索的排名结果。 所以在此，我们需要对搜索引擎的网页分析算法进行简单了解。 搜索引擎的网页分析算法主要分为3类：基于用户行为的网页分析...
精通Python网络爬虫：核心技术、框架与项目实战.3.3 网页更新策略
3.3 网页更新策略 一个网站的网页经常会更新，作为爬虫方，在网页更新后，我们则需要对这些网页进行重新爬取，那么什么时候去爬取合适呢？如果网站更新过慢，而爬虫爬取得过于频繁，则必然会增加爬虫及网站服务器的压力，若网站更新较快，但是爬虫爬取的时间间隔较长，则我们爬取的内容版本会过老，不利于新内容的爬取...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
