加入CODE CHINA

· 不限速    · 不限空间    · 不限人数    · 私仓免费

免费加入
    readme.md

    1.项目说明

    本项目实现定时爬取外包平台的订单并保存,爬取的网站主要包括码市、开源中国、人人开发、实现、51外包和猿急送6个外包订单平台,并先后实现两个版本:

    Version 1.0

    1.0版本是初始版本,实现爬取6个网站的订单信息,并分别保存到Excel表格的6个Sheet中,同时实现定时爬取,每半个小时爬取一次,并将文件上传到企业微信群以便寻单人员使用。

    Version 2.0

    2.0版本在1.0版本的基础上实现了保存所有订单到MySQL数据库中,并判断单子的有效性(是否已经过期或已被接),有效的单子保存到Excel表格并发送到企业微信群中,同时如果发生异常,会将异常信息发送到测试群,便于开发人员排错。

    2.项目配置

    所有配置信息均在各版本的config.py中,可以根据自己的需要进行修改。

    安装依赖库

    下载或clone项目后,需要使用各版本中的requirements.txt安装依赖库,直接在各版本目录下执行pip install -r requirements.txt -i https://pypi.douban.com/simple即可。

    配置文件修改

    config.py中的企业微信机器人key、数据库配置等均需根据自己的需要进行修改,同时需要创建数据库名为it_outsource或者自己需要的名称。

    3.项目运行

    直接在各版本目录下执行python crawler.py即可运行项目、开始采集订单。

    项目简介

    爬取6大外包平台订单,实现同步更新、定时爬取和保存到数据库。

    发行版本

    当前项目没有发行版本

    贡献者 1

    开发语言

    • Python 100.0 %