加入CODE CHINA

· 不限速    · 不限空间    · 不限人数    · 私仓免费

免费加入
README.md

微信公众号文章爬虫(微信文章阅读点赞的获取)

安装

pip install wechatarticles

展示地址:

日更,获取公众号的最新文章链接,支持日更阅读点赞评论正文

技术交流可以直接联系,微信二维码见末尾(微信;wnma3mz)。烦请进行备注,如wechat_spider

注:本项目仅供学习交流,严禁用于商业用途(该项目也没法直接使用),不能达到开箱即用的水平。使用本项目需要读文档+源码+动手实践,参考示例代码(test文件夹下)进行改写。

提示:另外,已经有很多朋友(大佬)通过直接看源码,已经基于这套项目,或者重写,用于各自的需求。

实现思路一:

  1. 从微信公众号平台获取微信公众所有文章的url
  2. 登录微信PC端或移动端获取文章的阅读数、点赞数、评论信息

完整思路可以参考我的博客: 记一次微信公众号爬虫的经历(微信文章阅读点赞的获取)

实现思路二:

  1. 登陆微信PC端或移动端获取公众号所有文章的url,这种获取到的url数量大于500,具体数量每个微信号不完全一致
  2. 同上种方法,获取文章阅读数、点赞数、评论信息

公开已爬取的公众号历史文章的永久链接,日期均截止commit时间,仅供测试与学习,欢迎各位关注这些优质公众号。

公众号列表 科技美学 共青团中央 南方周末 AppSo

Notes

项目始于2017年,当前更新于2021年3月

项目代码进行调整,调用以前的接口请使用pip install wechatarticles==0.5.8

  1. 爬取失败的时候,可能有以下原因
    1. 运行的时候需要关闭网络代理(抓包软件),或者添加相关参数
    2. 参数是否最新,获取微信相关参数(cookie、token)时,一定要保证是对应公众号的任意文章
    3. 检查代码
    4. 需要关注对应公众号(Maybe)
  2. 思路一获取url时,每页间隔可以设定久一点,比如3分钟,持续时间几小时(来自网友测试)
  3. 获取文章阅读点赞时,每篇文章可以设定在5-10s左右,过期时间为4小时;若被封,大约5-10分钟就可继续抓取。
  4. 思路二获取url时,如果被封,需要24小时整之后才能重新抓取

参数文件说明见README

python版本

  • python: 3.6.2、3.7.3

功能实现

功能 公众号相关 公众号信息 公众号biz。获取方式:清博、公众号网页 公众号发表文章数量(不完全准确) 文章相关 某公众号文章的url。获取方式:公众号网页、PC端微信、移动端微信、微信读书 某公众号所有文章信息(包含点赞数、阅读数、评论信息),需要手动更改循环 某公众号指定文章的信息 支持微信文章下载至本地转为html(图片可选是否保存)

API实例

利用公众号网页版获取微信文章url

此处有次数限制,不可一次获取太多url。解决方案多个账号同时爬取 test_WechatUrls.py

登录微信PC端获取文章信息

test_WechatInfo.py

快速获取大量文章urls(利用历史文章获取链接)

test_GetUrls.py

利用公众号获取链接,并获取阅读点赞

test_ArticlesAPI.py

微信文章下载为离线HTML(含图片)

test_Url2Html.py

相关文档

见博客与下方文档

official_cookie和token手动获取方式见这篇文档

wechat_cookie和appmsg_token手动获取的介绍,可以参考这篇文档

wechat_cookie和appmsg_token自动获取的介绍(需要安装mitmproxy,已放弃),仅供参考这篇文档。默认开放端口为8080。

联系注意事项:

  1. 不(能)做自动登录微信公众号、微信

  2. 不(能)做实时获取参数

  3. 换一个公众号、参数过期,均需手动更新,如何获取参数均在文章中提及,请仔细查阅

  4. 不能做关键词搜索(即微信搜一搜功能),比如搜索所有含“科技”两个字的文章。

Q & A

  1. 项目能不能正常运行?

答:项目可正常运行。

  1. xxx怎么运行/启动,需要获取哪些参数?

答:请看源码,并手动运行看看输出报错。

  1. xxx参数怎么获取?

答:文档和博客均描述的很清楚,请仔细阅读。

  1. 我要xxxx,需要怎么做?

答:看文档,看源码

附录:

问问题的正常方式:

  1. 描述清楚你运行的系统环境、Python环境...

  2. 运行了什么代码(改动了哪部分),报了什么错(请完整截图)?

  3. 自己根据报错做了哪些尝试?(文档中是否有描述?在网上搜索的解决方案有哪些)

请按照以上流程进行提问,如果加完好友问题表述不清,一律无视。谢谢!

若无动手能力,学习兴趣,本项目可能不适合你。请不要抱着“我就问这么一个问题,能占用多少时间的心态”,如果每个看到项目的人都占用1分钟,沟通成本巨大,请理解。谢谢!

微信二维码

项目简介

🚀 Github 镜像仓库 🚀

源项目地址

https://github.com/wnma3mz/wechat_articles_spider

发行版本 7

0.5.8

全部发行版

贡献者 3

wnma3mz @wnma3mz1
赵丰 (Zhao Feng) @赵丰 (Zhao Feng)

开发语言

  • Python 100.0 %