提交 0fdc0c8f 编写于 作者: 梦想橡皮擦's avatar 梦想橡皮擦 💬

Update Python爬虫入门教程 10-100 图虫网多线程爬取.md

上级 ae0a5fed
## 1.图虫网多线程爬取-写在前面
经历了一顿噼里啪啦的操作之后,终于我把博客写到了第10篇,后面,慢慢的会涉及到更多的爬虫模块,有人问`scrapy` 啥时候开始用,这个我预计要在30篇以后了吧,后面的套路依旧慢节奏的,所以莫着急了,100篇呢,预计4~5个月写完,常见的反反爬后面也会写的,还有fuck login类的内容。
<div align="center">
<img src="https://ws2.sinaimg.cn/large/9150e4e5ly1fw3xidss1bj204v04vwee.jpg" width=20% />
</div>
## 2.图虫网多线程爬取-爬取图虫网
为什么要爬取这个网站,不知道哎~ 莫名奇妙的收到了,感觉图片质量不错,不是那些`妖艳贱货` 可以比的,所以就开始爬了,搜了一下网上有人也在爬,但是基本都是py2,py3的还没有人写,所以顺手写一篇吧。
......@@ -88,6 +85,7 @@ class ThreadCrawl(threading.Thread):
```
运行结果
![在这里插入图片描述](https://img-blog.csdn.net/20181011183951550?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
线程已经开启,在run方法中,补充爬取数据的代码就好了,这个地方引入一个全局变量,用来标识爬取状态
......@@ -156,7 +154,9 @@ def main():
print(data_queue)
```
经过测试,data_queue 里面有数据啦!!,哈哈,下面在使用相同的操作,去下载图片就好喽
![在这里插入图片描述](https://img-blog.csdn.net/20181011185824419?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
完善`main`方法
```py
def main():
......@@ -229,9 +229,6 @@ class ThreadDown(threading.Thread):
关键注释已经添加到代码里面了,收图吧 (◕ᴗ◕✿),这次代码回头在上传到`github`上 因为比较简单
![在这里插入图片描述](https://img-blog.csdn.net/2018101119043943?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
当你把上面的花卉修改成比如`xx`啥的~,就是`天外飞仙`
<div align="center">
<img src="https://img-blog.csdn.net/20181011190609577?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70" width=20% />
</div>
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册