• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

easy-spider: 这是个基于request和async模块的简单爬虫

原作者: [db:作者] 来自: 网络 收藏 邀请

开源软件名称:

easy-spider

开源软件地址:

https://gitee.com/wben107/easy-spider

开源软件介绍:

easy-node-spider

介绍

这是个基于request和async模块的简单爬虫,参数和request参数相同

软件架构

软件架构说明

安装教程

  1. npm install

使用说明

  1. var Spider = require('easy-node-spider')
  2. var esp = new Spider(paramList,limit,timer);
  3. esp.run(dealcallback,callback);

参数说明

paramList是一个request的请求参数的数组

参数是否必须示例备注
paramList['http://www.baidu.com']请求参数的数组或url数组
limit1设置最大线程默认是1
timer1000设置每个请求间隔的时间默认是0
dealcallbackdealcallback(err,body,data,callback)单个数据的处理函数
callbackcallback(result)处理最后的结果数组

鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap