在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
开源软件名称:web-crawler开源软件地址:https://gitee.com/rock117/web-crawler开源软件介绍:#web-crawler一个简单的web爬虫,采用scala + akka实现,该爬虫可以指定过滤规则,存储处理(文件存储,数据库存储。。。),例子如下new Crawler().source(ArrayBuffer("http://money.163.com/stock/")).processor(FileStore("d:/crawl-sites").process) |
请发表评论