AI 助理
备案控制台
文章 2023-05-31 来自：开发者社区

如何避免Selenium爬虫被网站识破

在对一些需要进行登陆操作的网站爬取时，通常都会使用到Selenium。但是Selenium爬虫在爬取数据时也是会被网站检测到，这是因为Selenium模拟了浏览器行为，而相对于真实用户的浏览器，Selenium模拟无法识别JavaScript代码和CSS文件。此外，网站也可能通过检测请求头、IP地址、Cookie等信息来判断是...

文章 2023-05-12 来自：开发者社区

Python爬虫-selenium

对于python爬虫的相关知识之前分享了很多，这回来说说如何利用selenium自动化获取网页信息。通常对于异步加载的网页，我们需要查找网页的真正请求，并且去构造请求参数，最后才能得到真正的请求网址。而利用selenium通过模拟浏览器操作，则无需去考虑那么多，做到可见即可爬。当然带来便捷的同时，也有着不利，比如说时间上会有所增加，效率降低。可是对于业余爬虫而言，更快的爬取，并不是那么的重要。首....

文章 2023-04-28 来自：开发者社区

Selenium爬虫过程中遇到弹窗验证

我们在做爬虫的时候，会遇到一些商业网站对爬虫程序限制较多，在数据采集的过程中对爬虫请求进行了多种验证，导致爬虫程序需要深入分析目标网站的反爬策略，定期更新和维护爬虫程序，增加了研发的时间和投入成本。这种情况下，使用无头浏览器例如 Selenium，模拟用户的请求进行数据采集是更加方便快捷的方式。同时为了避免目标网站出现IP限制，配合爬虫代理，实现每次请求自动切换IP，能够保证长期稳定的数据采集。....

文章 2023-02-14 来自：开发者社区

从零开始学爬虫5——selenium

1 基础什么是selenium？Selenium是一个用于Web应用程序测试的工具。Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。支持通过各种driver（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）驱动真实浏览器完成测试。selenium也是支持无界面浏览器操作的。为什么使用selenium？模拟....

文章 2023-01-24 来自：开发者社区

python3爬虫:使用Selenium带Cookie登录并且模拟进行表单上传文件

前文再续，书接上一回，之前一篇文章我们尝试用百度api智能识别在线验证码进行模拟登录：Python3.7爬虫：实时api(百度ai)检测验证码模拟登录(Selenium)页面，这回老板又发话了，编辑利用脚本虽然登录成功了，但是有一些表单还是得手动上传，希望能改造成自动化流程。说实话，没毛病，机器能干的事，就没必要麻烦人了，拿人钱财，替人办事，开干。首先理清思路，没必要每次登录都去实时监测识别登录....

python3爬虫:使用Selenium带Cookie登录并且模拟进行表单上传文件
问答 2022-11-18 来自：开发者社区

想用selenium做爬虫 把phantomjs作为资源传入到了层?

想用selenium做爬虫 把phantomjs作为资源传入到了层?

问答 2022-09-27 来自：开发者社区

我这边写了一个用selenium+ChromeDriver的爬虫脚本打算放上去FC ，没成功是怎么回

我这边写了一个用selenium+ChromeDriver的爬虫脚本打算放上去FC ，没成功是怎么回事？

问答 2022-09-27 来自：开发者社区

有个问题想问下 我这边写了一个用selenium+ChromeDriver的爬虫脚本打算放上去FC

有个问题想问下 我这边写了一个用selenium+ChromeDriver的爬虫脚本打算放上去FC 现在想问下我是要如何给环境那里安装浏览器的

文章 2022-09-21 来自：开发者社区

解决selenium可视化爬虫报错以及安装chromedriver系列踩坑问题

今天首次使用selenium爬虫，需要下载chrome浏览器，以及对应的驱动：1.下载chrome浏览器点我下载2.安装chromedriver驱动点我下载查看对应的版本方法：通过 桌面 ，属性，查看文件位置我的浏览器安装地址是C:\Program Files\Google\Chrome\Application选择对应版本下载即可！这里32位也可以用，不需要下载64位的驱动解压到桌面后，将chr....

解决selenium可视化爬虫报错以及安装chromedriver系列踩坑问题
文章 2022-09-15 来自：开发者社区

Python爬虫通过selenium自动化抓取淘宝的商品数据

淘宝的页面大量使用了js加载数据，所以采用selenium来进行爬取更为简单，selenum作为一个测试工具，主要配合无窗口浏览器phantomjs来使用。完整代码import re from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdri....

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

Selenium更多爬虫相关

Selenium您可能感兴趣

开发与运维

集结各类场景实战经验，助你开发运维畅行无忧

+关注