文章 2024-11-25 来自:开发者社区

使用 Puppeteer 绕过 Captcha:实现商家数据自动化采集

背景/引言 大众点评作为中国领先的本地生活服务平台,不仅是消费者获取商家信息和用户评价的重要工具,同时也是商家推广的关键渠道。通过优质的内容呈现和精准的用户推荐,大众点评能够为商家带来显著的流量提升和品牌曝光,成为商业竞争中不可忽视的资源。 对于技术从业者,采集大众点评的商家数据可以用于市场动态研究、用户行为分析以及商家推广策略制定。然而,大众点评的控制机制(如 Captcha 验证)使自动化采....

使用 Puppeteer 绕过 Captcha:实现商家数据自动化采集
文章 2024-10-08 来自:开发者社区

Puppeteer自动化:使用JavaScript定制PDF下载

引言 在现代的Web开发中,自动化已经成为提高效率和减少重复劳动的重要手段。Puppeteer 是一个强大的Node.js库,提供了对无头Chrome或Chromium的控制,可以用于生成网页快照、抓取数据、自动化测试等任务。其中,生成PDF文件是一个常见的需求,本文将通过使用Puppeteer展示如何自动化生成定制的PDF,并使用代理IP、设置user-agent、cookie等技术来增强自动....

Puppeteer自动化:使用JavaScript定制PDF下载
文章 2024-06-26 来自:开发者社区

Puppeteer实战指南:自动化抓取网页中的图片资源

Puppeteer 简介Puppeteer是Google Chrome团队开发的一个Node库,它提供了一个高级API来控制Chrome或Chromium浏览器。Puppeteer可以进行网页自动化操作,包括导航、屏幕截图、生成PDF、捕获网络活动等。环境搭建在开始之前,确保你的开发环境中安装了Node.js和npm。接着,通过npm安装P...

文章 2024-06-07 来自:开发者社区

Puppeteer实战案例:自动化抓取社交媒体上的媒体资源

在当今数字化时代,社交媒体已成为人们获取信息、分享生活和进行商业推广的重要平台。随着社交媒体内容的爆炸性增长,自动化抓取社交媒体上的媒体资源变得尤为重要。本文将介绍如何使用Puppeteer这一强大的自动化工具来实现这一目标。 Puppeteer简介Puppeteer是一个由Google Chrome团队开发的Node库,提供了一套高级API来控制Chr...

文章 2023-09-21 来自:开发者社区

Puppeteer无头浏览器:开启自动化之门,掌握浏览器世界的无限可能

大概还是入门期,我曾用Puppeteer做爬虫工具以此来绕过某网站的防爬机制。近期有需求要做任意链接网页截图,像这种场景非常适合用Puppeteer完成。无头浏览器我已知的还有Selenium。 完成截图需求踩的最大的坑不是具体的逻辑代码,而是Docker部署Puppeteer到服务器总是缺少某个包。踩坑过程我想另外写一篇文章分享,所以这篇就单纯给读者介绍Puppeteer无头浏览器。 什么...

Puppeteer无头浏览器:开启自动化之门,掌握浏览器世界的无限可能
文章 2023-09-14 来自:开发者社区

Playwright: 比 Puppeteer 更好用的浏览器自动化工具(下)

选择器表达式在上面的代码中,我们使用了 CSS 表达式(比如#button)来选取元素。实际上,Playwright 还支持 XPath 和自己定义的两种简单表达式,并且是自动识别的。 通过文本选择元素,这是 Playwright 自定义的一种表达式 page.click("text=login") # 直接通过 id 选择 page.click("id=login") # 通过 CSS 选择元....

文章 2023-09-14 来自:开发者社区

Playwright: 比 Puppeteer 更好用的浏览器自动化工具(上)

在 Playwright 之前,我一般会使用 Selenium 或者 Puppeteer 来进行浏览器自动化操作。然而,Selenium 经常会有一些奇怪的 bug, Puppeteer 则是没有官方 Python 版,非官方版本也只有 async 版本,并且也是有一些奇怪的 bug. 另外,众所周知,Python 的 Async API 并不是那么好使。Playwright 是微软出品的浏览器....

文章 2023-04-12 来自:开发者社区

Puppeteer工具简介及其在网页爬取和自动化中的应用

Puppeteer是一个流行的Node.js库,在开发者中广泛使用的用于网页爬取和自动化任务的工具。它提供两种操作模式,即headfull和headless。在headfull模式下,Puppeteer控制的Chrome或Chromium浏览器是有界面的,也就是可以看到浏览器运行的情况。在此模式下,可以使用浏览器的开发者工具进行调试。这种模式非常适合在本地进行开发和调试。而在headless模式....

Puppeteer工具简介及其在网页爬取和自动化中的应用
文章 2022-02-17 来自:开发者社区

Remote Browser:类似 Puppeteer 的浏览器自动化框架

Remote Browser 基于 Web Extensions API 标准构建,是一个使用 JavaScript 以编程方式控制诸如 Chrome 和 Firefox 之类的网络浏览器的库。此前你可能已经听说过类似的浏览器自动化框架,例如 Puppeteer 和 Selenium。 Remote Browser 与这些框架非常相似,它可用于完成与 UI 测试、服务器端渲染(SSR)以...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"","productCardInfo":{"productTitle":"Terraform","productDescription":"Terraform是基础架构自动化编排工具,高度可扩展,阿里云作为其provider支持您创建并管理新的基础架构,让您在阿里云上轻松定义、预览和部署云资源,实现云上自动化需求。","productContentLink":"https://help.aliyun.com/product/95817.html","isDisplayProductIcon":false,"productButton1":{"productButtonText":"产品文档","productButtonLink":"https://help.aliyun.com/product/95817.html"},"productButton2":{"productButtonText":"开源仓库","productButtonLink":"https://github.com/aliyun/terraform-provider-alicloud"},"productButton3":{"productButtonText":"快速体验","productButtonLink":"https://api.aliyun.com/terraform"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"开源免费","productPromotionInfoFirstText":"基础设施即代码","productPromotionInfoFirstLink":"https://help.aliyun.com/document_detail/95820.html","productPromotionInfoSecondText":"用代码管理维护资源","productPromotionInfoSecondLink":"https://help.aliyun.com/document_detail/95821.html"},{"$id":"1","productPromotionGroupingTitle":"多云适用","productPromotionInfoFirstText":"能够管理多云资源","productPromotionInfoFirstLink":"https://help.aliyun.com/document_detail/95828.html","productPromotionInfoSecondText":"便于云资源管理与迁移","productPromotionInfoSecondLink":"https://help.aliyun.com/document_detail/95828.html"},{"$id":"2","productPromotionGroupingTitle":"自动化管理","productPromotionInfoFirstText":"减少人为因素错误","productPromotionInfoFirstLink":"https://help.aliyun.com/document_detail/95828.html","productPromotionInfoSecondText":"开发降本增效","productPromotionInfoSecondLink":"https://help.aliyun.com/document_detail/95828.html"},{"$id":"3","productPromotionGroupingTitle":"开箱即用","productPromotionInfoFirstText":"丰富的Modules和Examples","productPromotionInfoFirstLink":"https://github.com/alibabacloud-automation","productPromotionInfoSecondText":"开发者共建贡献","productPromotionInfoSecondLink":"https://help.aliyun.com/document_detail/95835.html"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}

开发与运维

集结各类场景实战经验,助你开发运维畅行无忧

+关注