# Python3 爬虫学习笔记 C05

TRHX

2019-08-23

Python3 学习笔记 / 爬虫学习

字数统计:

461字

阅读时长≈

2分

> Python3 爬虫学习笔记第五章 —— 【Selenium + 无界面浏览器】

# 【5.1】关于无界面浏览器

无界面（headless）浏览器，会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器更高效。Selenium 搭配无界面浏览器使用，被称为爬虫利器，常用的无界面浏览器有：PhantomJS、Headless Chrome、Headless Firefox，其中，18年3月，PhantomJS 的作者在 GitHub 上宣布暂停开发 PhantomJS，现在使用 PhantomJS 会出现警告：`UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead`，所以推荐使用谷歌或者火狐的无界面浏览器

# 【5.2】PhantomJS

下载 PhantomJS：https://phantomjs.org/download.html
path 为 PhantomJS 路径，如果系统配置了环境变量，就不用手动指定 executable_path 参数

    1
    2
    3
    4
    5
    6
    7
    from selenium import webdriver

    path = r'F:\PycharmProjects\Python3爬虫\phantomjs-2.1.1\bin\phantomjs.exe'
    driver = webdriver.PhantomJS(executable_path=path)
    driver.get("https://www.itrhx.com")
    print(driver.page_source)
    driver.close()

# 【5.3】Headless Chrome

下载 Chromedriver：http://chromedriver.storage.googleapis.com/index.html
需要本地有 Chrome 浏览器，path 为 Headless Chrome 路径，如果系统配置了环境变量，就不用手动指定 executable_path 参数

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options

    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    path = 'F:\PycharmProjects\Python3爬虫\chromedriver.exe'
    driver = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)
    driver.get("https://www.itrhx.com")
    print(driver.page_source)
    driver.close()

# 【5.4】Headless Firefox

下载 geckodriver：https://github.com/mozilla/geckodriver/releases/
需要本地有 Firefox 浏览器，path 为 Headless Firefox 路径，如果系统配置了环境变量，就不用手动指定 executable_path 参数

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    from selenium.webdriver import Firefox
    from selenium.webdriver.firefox.options import Options

    options = Options()
    options.add_argument('-headless')
    path = 'F:\PycharmProjects\Python3爬虫\geckodriver.exe'
    driver = Firefox(executable_path=path, firefox_options=options)
    driver.get("https://www.itrhx.com")
    print(driver.page_source)
    driver.close()

您的喜欢是作者写作最大的动力！❤️

- PayPal
- AliPay
- WeChatPay
- QQPay

Donate

最后更新于 2019年9月24日

爬虫

Selenium

无界面浏览器

###### 上一页

#### Python3 爬虫学习笔记 C06

###### 爬虫 正则表达式

###### 下一页

#### 常见 User-Agent 大全

###### 爬虫 User-Agent

#### 评论

## ๑۩ﺴ TRHX ﺴ۩๑

本文目录
站内导航

- 所有文章
- 文章归档
- RSS订阅
- 我的友链
- 留言板
- 关于博主

欢迎光临
访客地图
交流群组

QQ 交流群 Telegram 交流群

文章分类

- BLOG
  (4)
- CDN
  (1)
- Hexo
  (9)
- Java
  (1)
- Linux
  (2)
- Markdown
  (2)
- Python3 学习笔记
  (39)
- 基础学习
  (9)
- 学习经验
  (4)
- 爬虫学习
  (18)
- 爬虫实战
  (8)
- VPS
  (1)
- WEB前端
  (2)
- 图床
  (1)

热门标签
12306 58同城 Ajax BLOG Beautiful Soup CDN Coding Pages Deepin Elicpse GitHub Pages Github Github Pages HTTPS Hexo ICP备案 JDBC JS 预加载 Markdown Material X MongoDB MySQL PEP8 PicGo Pygame Python Redis SEO SQL Server 2012 SSR Selenium Ubuntu User-Agent VMware VPS XPath if语句 input()函数 instant.page jsDelivr lxml pyspider requests spfk urllib while循环 主题个性化 代理 公安备案 函数 列表 变量 哔哩哔哩 图床 图形验证码 垃圾 备份 字典 安居客 年终总结 异常 技巧 操作列表 数据类型 文件 文件储存 无界面浏览器 模块 正则表达式 滑动验证码 点触验证码 爬虫 猫眼电影 瓜子二手车 类 继承 编辑器 虎扑论坛 豆瓣电影
最近在听