CSS位移偏、字体移反爬案例 CSS位移偏移反爬案例分析与实战(p282) 实例中的标题通过CSS(class=char)设置元素绝对位置(position:absolute),配合style设置元素的位移(style:left)来混淆元素的排列顺序 <h3 class="m-b-sm name"> <span class="char" style="left...

Playwright(p257)是微软开源的自动化测试工具(官方文档)，它的api设计接近 pypeteer（综合起来Playwright>Pypeteer>Selenium）。 Playwright特点: 支持主流的浏览器。基于chromium(Chrome、Edge)、FireFox、Safari(基于Webkit) 支持移动端页面测试 安装和配置简单，无需安...

Pypeteer(p241)对标 Google的Puppeteer(Node.js)实现，不用安装ChromeDriver配置环境变量，但是它会去下载chromium(这在墙内就够折腾人了！！)。由于它用async执行一些支持异步的操作，比Selenium效率高（无论Selenium还是pyppeteer都是通过DevTools Protocol跨进程的方式来和浏览器交互）。 安装： ...

Splash(p226)是一个 JavaScript 渲染服务,是一个含有 HTTPAPI的轻量级测览器,它还对接了 Python中的 Twisted 库和 QT库。利用它，同样可以爬取动态渲染的页面。 功能介绍 利用 Splash，可以实现如下功能 异步处理多个网页的渲染过程; 获取渲染后页面的源代码或截图;0: 通过关闭图片渲染或者使用 Adblock 规则的方式加快...

Selenium(p212) 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等等操作，对于一些 JavaScript 渲染的页面来说，此种抓取方式非常有效 安装 1.安装Chrome 浏览器 2.安装ChromeDriver 下载对应浏览器版本(115后的版本) 解压包:/usr/local/chromedriver ...

一些概念 event loop:事件循环，相当于一个无限循环，我们可以把一些函数注册到这个事件循环上，当满足发生条件的时候，就调用对应的处理方法。 coroutine:协程，在 Python 中常指代协程对象类型，我们可以将协程对象注册到时间循环中，它会被事件循环调用。我们可以使用async关键字来定义一个方法，这个方法在调用时不会立即被执行，而是会返回一个协程对象。 task...

RabbitMQ是一个广泛使用的消息服务器，采用Erlang语言编写，是一种开源的实现 AMQP（高级消息队列协议）的消息中间件。 RabbitMQ一些信息 RabbitMQ 可以部署在分布式和联合配置中，在易用性、扩展性、高可用性等方面表现不俗。 AMQP协议（http://www.amqp.org），即 Advanced Message Queuing Protocol，高级...

ElasticSearch (p159)是一个分布式的，高性能，高可用的，可伸缩的搜索和分析系统 ElasticSearch特点 (1)可以作为大型分布式集群(数百台服务器)技术，处理 PB 级的数据，服务大公司；也可以运行在单机上服务于小公司 (2)Elasticsearch 不是什么新技术，主要是将全文检索、数据分析以及分布式技术，合并在了一起，才形成了独一无二的 ES：lu...

准备工作 安装brew install redis #配置password,Mac 下 Redis 的配置文件路径是 /usr/local/etc/redis.conf requirepass your_password #启动、停止、重启 MongoDB服务 brew services start redis brew services stop redis brew serv...

MongoDB(p144)是一个NoSQL(Not Only SQL[不仅仅是SQL]，泛指非关系型数据库)数据库 准备工作 安装MongoDB brew tap mongodb/brew brew install mongodb-community #启动、停止、重启 MongoDB服务 brew services start mongodb-community brew servi...