开源软件名称：

开源软件地址：

开源软件介绍：

Spider

demo 是关于acfun的最新爬虫

介绍

node-spider 聚合服务1 分布式爬取2 redis3 mongoose存储4 pm2管理进程5 logger日志管理

软件架构

软件架构说明bin ---->启动目录utils -----> 工具loggerservice ----->数据库存储服务models -----> 存储的model层模型routers ---> 服务对外提供接口scripts ----> 脚本运行文件 可以控制频率

安装教程

1. npm i
2. 配置setting.js

使用说明

1. NODE_ARGV_2=***** pm2 start ./scripts/spider.js -p 0 (NODE_ARGV_2=start_getting_articles pm2 start ./scripts/spider.js)

参与贡献

author : wenbinemail :[email protected]