Python3网络爬虫(十三)：王者荣耀那些事！(Fiddler之手机APP爬取)

运行平台： Windows Python版本： Python3.x IDE： Sublime text3   前言 实战背景 准备工作 什么是Fiddler 手机APP抓包设置 Fiddler设置 安全证书下载 安全证书安装 局域网设置 Fiddler手机抓包测试 实战走起 下载英雄图片 英雄推荐出装查询助手 ...

Python3网络爬虫——（5）正则表达式（re模块）

一、正则表达式 1、正则表达式是字符串搜索引擎 Python正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 2、正则表达式在线测试工具：http://tool.oschina.net/regex 3、常见匹配模式： 4、正则表达式修饰符 - 可选标志 正则...

Python3网络爬虫——（4）urllib.error异常处理

异常处理 1、使用URLError进行异常处理 # -*- coding: UTF-8 -*- from urllib import request from urllib import error if __name__ == "__main__": url = 'https://blog.csdn.net/asialee_bir' #错误链接 try: ...

Python3网络爬虫——（3）代理服务器设置（IP代理使用）

Python3网络爬虫——（2）设置User Agent模拟浏览器访问

设置User Agent模拟浏览器访问 方法一、使用build_opener()修改报头 # -*- coding: UTF-8 -*- #使用build_opener()修改报头 from urllib import request if __name__ == "__main__": url="https://blog.csdn.net/asialee_bird/article/d...

Python3网络爬虫——（1）利用urllib进行简单的网页抓取

利用urllib进行简单的网页抓取 urllib是Python提供的用于操作URL的模块 l、快速使用urllib爬取网页 # -*- coding: UTF-8 -*- from urllib import request if __name__ == "__main__": file = request.urlopen("https://blog.csdn.net/asiale...

Python3网络爬虫——爬虫基本原理

1、网络爬虫概述 爬虫就是请求网站并提取数据的自动化程序 网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。 网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都...