在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
开源软件名称:talent_photo_crawler开源软件地址:https://gitee.com/meallon/talent_photo_crawler开源软件介绍:之所以出现这个简单易用,性能高效的图片爬虫talent-photo-crawler,是因为某天周末闲来无事,登进18禁网站看看艺术图时,发现网速不好时看得很不爽,于是想到我可以先把网站里所有的图片下载到本地,在一个个以艺术的眼光欣赏,于是乎,选择了自己实现一个简单易用的图片爬虫,并且基于并行计算和异步执行的多线程下载算法,可一个爬取线程同时下载当前页面图片数量的图片,不需要等待一副一副的下载,源码里的demo是个使用例子,代码由注释,简单以上手。 如果有需要改进的地方,请各位指正。。。同时推荐下一个神奇的异步及时通讯框架talent-aio, https://git.oschina.net/tywo45/talent-aio以下是一秒钟爬取的图片数量,具体情况宽带和网络情况影响较大。 |
请发表评论