# Python3 爬虫学习笔记 C05

TRHX

2019-08-23

Python3 学习笔记 / 爬虫学习

字数统计:

461字

阅读时长≈

2分

> Python3 爬虫学习笔记第五章 —— 【Selenium + 无界面浏览器】

# 【5.1】关于无界面浏览器

无界面（headless）浏览器，会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器更高效。Selenium 搭配无界面浏览器使用，被称为爬虫利器，常用的无界面浏览器有：PhantomJS、Headless Chrome、Headless Firefox，其中，18年3月，PhantomJS 的作者在 GitHub 上宣布暂停开发 PhantomJS，现在使用 PhantomJS 会出现警告：`UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead`，所以推荐使用谷歌或者火狐的无界面浏览器

# 【5.2】PhantomJS

下载 PhantomJS：https://phantomjs.org/download.html
path 为 PhantomJS 路径，如果系统配置了环境变量，就不用手动指定 executable_path 参数

    1
    2
    3
    4
    5
    6
    7

    from selenium import webdriver

    path = r'F:\PycharmProjects\Python3爬虫\phantomjs-2.1.1\bin\phantomjs.exe'
    driver = webdriver.PhantomJS(executable_path=path)
    driver.get("https://www.itrhx.com")
    print(driver.page_source)
    driver.close()

# 【5.3】Headless Chrome

下载 Chromedriver：http://chromedriver.storage.googleapis.com/index.html
需要本地有 Chrome 浏览器，path 为 Headless Chrome 路径，如果系统配置了环境变量，就不用手动指定 executable_path 参数

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11

    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options

    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    path = 'F:\PycharmProjects\Python3爬虫\chromedriver.exe'
    driver = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)
    driver.get("https://www.itrhx.com")
    print(driver.page_source)
    driver.close()

# 【5.4】Headless Firefox

下载 geckodriver：https://github.com/mozilla/geckodriver/releases/
需要本地有 Firefox 浏览器，path 为 Headless Firefox 路径，如果系统配置了环境变量，就不用手动指定 executable_path 参数

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10

    from selenium.webdriver import Firefox
    from selenium.webdriver.firefox.options import Options

    options = Options()
    options.add_argument('-headless')
    path = 'F:\PycharmProjects\Python3爬虫\geckodriver.exe'
    driver = Firefox(executable_path=path, firefox_options=options)
    driver.get("https://www.itrhx.com")
    print(driver.page_source)
    driver.close()

您的喜欢是作者写作最大的动力！❤️

- PayPal
- AliPay
- WeChatPay
- QQPay

Donate

最后更新于 2019年9月24日

爬虫

Selenium

无界面浏览器

###### 上一页

#### Python3 爬虫学习笔记 C06

###### 爬虫 正则表达式

###### 下一页

#### 常见 User-Agent 大全

###### 爬虫 User-Agent

#### 评论

## ๑۩ﺴ TRHX ﺴ۩๑

本文目录
欢迎光临

Hexo QQ 交流群 Telegram 交流群

CSDN 内容合伙人

文章分类

- BLOG
  (4)
- CDN
  (1)
- Hexo
  (9)
- Java
  (1)
- Linux
  (2)
- Markdown
  (2)
- Python 数据分析
  (27)
- Matplotlib
  (11)
- NumPy
  (6)
- Pandas
  (10)
- Python3 学习笔记
  (41)
- 基础学习
  (9)
- 学习经验
  (4)
- 爬虫学习
  (18)
- 爬虫实战
  (10)
- VPS
  (1)
- WEB前端
  (2)
- 图床
  (1)

热门标签
12306 3D图 58同城 Ajax BLOG Beautiful Soup CDN Coding Pages DataFrame Deepin Elicpse GitHub Pages Github Github Pages GroupBy HTTPS Hexo ICP备案 IO操作 Index JDBC JS 预加载 LaTeX Markdown Material X Matplotlib MongoDB MySQL NumPy PEP8 Pandas PicGo Pygame Python Redis SEO SQL Server 2012 SSR Selenium Series Ubuntu User-Agent VMware VPS XPath if语句 input()函数 instant.page jsDelivr lxml matplotibrc pyspider requests spfk urllib while循环 主题个性化 代理 位运算 公安备案 函数 函数应用 分割 切片 列表 判断函数 前程无忧 变量 合并数据集 哔哩哔哩 图例 图床 图形验证码 垃圾 备份 子图 字典 字符串函数 安居客 层级索引 年终总结 广播 异常 技巧 拼接 排序 排序函数 操作列表 散点图 数学函数 数据分裂 数据可视化 数据合并 数据替换 数据类型 数据读写 数据重塑 数组 文件 文件储存 无界面浏览器 时间序列 映射 条件函数 条形图 极区图 极坐标图 柱状图 模块 正则表达式 滑动验证码 点触验证码 爬虫 猫眼电影 瓜子二手车 画布 直方图 矩阵 等值线图 等高线图 算术函数 算术运算 类 索引 线性代数 线性图 统计函数 统计描述 统计计算 继承 编辑器 缺失值 网格 肺炎疫情 虎扑论坛 补丁 豆瓣电影 迭代 雷达图 饼状图
最近在听