Python|selenium的新一代替代品---DrissionPage（very 推荐）

官方文档地址： http://g1879.gitee.io/drissionpagedocs/

✨️ 概述

DrissionPage 是一个基于 python 的网页自动化工具。

它既能控制浏览器，也能收发数据包，还能把两者合而为一。

可兼顾浏览器自动化的便利性和 requests 的高效率。

它功能强大，内置无数人性化设计和便捷功能。

它的语法简洁而优雅，代码量少，对新手友好。

项目地址：gitee | github

您的星星是对我最大的支持?

交流 QQ 群： 897838127

最新版本：3.2.26

支持系统：Windows、Linux、Mac

python 版本：3.6 及以上

支持应用：Chromium 内核浏览器（如 Chrome、Edge），electron 应用

? 背景

用 requests 做数据采集面对要登录的网站时，要分析数据包、JS 源码，构造复杂的请求，往往还要应付验证码、JS 混淆、签名参数等反爬手段，门槛较高，开发效率不高。使用浏览器，可以很大程度上绕过这些坑，但浏览器运行效率不高。

因此，这个库设计初衷，是将它们合而为一，同时实现“写得快”和“跑得快”。能够在不同须要时切换相应模式，并提供一种人性化的使用方法，提高开发和运行效率。
除了合并两者，本库还以网页为单位封装了常用功能，提供非常简便的操作和语句，使用户可减少考虑细节，专注功能实现。以简单的方式实现强大的功能，使代码更优雅。

以前的版本是对 selenium 进行重新封装实现的。从 3.0 开始，作者另起炉灶，对底层进行了重新开发，摆脱对 selenium 的依赖，增强了功能，提升了运行效率。

? 理念

简洁！易用！方便！

☀️ 特性

作者经过长期实践，踩过无数坑，总结出的经验全写到这个库里了。

? 强大的自研内核

本库采用全自研的内核，内置了 N 多实用功能，对常用功能作了整合和优化，对比 selenium，有以下优点：

无 webdriver 特征
无需为不同版本的浏览器下载不同的驱动
运行速度更快
可以跨 iframe 查找元素，无需切入切出
把 iframe 看作普通元素，获取后可直接在其中查找元素，逻辑更清晰
可以同时操作浏览器中的多个标签页，即使标签页为非激活状态，无需切换
可以直接读取浏览器缓存来保存图片，无需用 GUI 点击另存
可以对整个网页截图，包括视口外的部分（90以上版本浏览器支持）
可处理非open状态的 shadow-root

? 亮点功能

除了以上优点，本库还内置了无数人性化设计。

极简的语法规则。集成大量常用功能，代码更优雅
定位元素更加容易，功能更强大稳定
无处不在的等待和自动重试功能。使不稳定的网络变得易于控制，程序更稳定，编写更省心
提供强大的下载工具。操作浏览器时也能享受快捷可靠的下载功能
允许反复使用已经打开的浏览器。无须每次运行从头启动浏览器，调试超方便
使用 ini 文件保存常用配置，自动调用，提供便捷的设置，远离繁杂的配置项
内置 lxml 作为解析引擎，解析速度成几个数量级提升
使用 POM 模式封装，可直接用于测试，便于扩展
高度集成的便利功能，从每个细节中体现
还有很多细节，这里不一一列举，欢迎实际使用中体验：D

应用实例： ? 采集猫眼电影 TOP100 榜

这个示例演示用浏览器采集数据。

✅️️ 采集目标
目标网址：https://www.maoyan.com/board/4

采集目标：排名、电影名称、演员、上映时间、分数

✅️️ 编码思路
按F12，可以看到每个电影信息都包含在

元素中，因此可批量获取

元素，遍历它们并再从其中获取每个电影的信息。

✅️️ 示例代码
以下代码可直接运行。

须要注意的是，这里用到记录器对象，详见DataRecorder。

from DrissionPage import ChromiumPage
from DataRecorder import Recorder

# 创建页面对象

page = ChromiumPage()

# 创建记录器对象

recorder = Recorder('data.csv')

# 访问网页

page.get('https://www.maoyan.com/board/4')

while True:

    # 遍历页面上所有 dd 元素

    for mov in page.eles('t:dd'):

        # 获取须要的信息

        num = mov('t:i').text
        score = mov('.score').text
        title = mov('@data-act=boarditem-click').attr('title')
        star = mov('.star').text
        time = mov('.releasetime').text

        # 写入到记录器

        recorder.add_data((num, title, star, time, score))

    # 获取下一页按钮，有就点击
    btn = page('下一页', timeout=2)
    if btn:
        btn.click()
        page.wait.load_start()
    # 没有则退出程序
    else:
        break
recorder.record()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

✅️️ 结果
程序生成一个结果文件 data.csv，内容如下：

1,我不是药神,"主演：徐峥,周一围,王传君",上映时间：2018-07-05,9.6
2,肖申克的救赎,"主演：蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿",上映时间：1994-09-10(加拿大),9.5
3,海上钢琴师,"主演：蒂姆·罗斯,比尔·努恩 ,克兰伦斯·威廉姆斯三世",上映时间：2019-11-15,9.3
4,绿皮书,"主演：维果·莫腾森,马赫沙拉·阿里,琳达·卡德里尼",上映时间：2019-03-01,9.5
5,霸王别姬,"主演：张国荣,张丰毅,巩俐",上映时间：1993-07-26,9.4

下面省略。。。
1
2
3
4
5
6
7