• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

JSpider: 在浏览器端使用 JS 快速爬取文件的框架

原作者: [db:作者] 来自: 网络 收藏 邀请

开源软件名称:

JSpider

开源软件地址:

https://gitee.com/dongzhongzhidong/jspider

开源软件介绍:

JSpider 3.2 BETA

npm NPM GitHub top language GitHub code size in bytes

JSpider 3 是在 Chrome Devtools 中进行爬虫的爬虫框架,这个框架包括了完整的爬虫支持。如果您具有前端基础,那么可以在三分钟内入门哦!

JSpider 3 is a Chrome DevTools crawler framework that includes full crawler support. If you have a front-end foundation, you can get up and running in three minutes!

  • 高效率工具:JSpider 自带并发控制,提供多种方便的数据处理插件。
  • 爬虫高度复用:JSpider 的代码可以重复使用,随时添加新任务。

官方教程链接

快速入门

自定义爬取

await import('https://cdn.jsdelivr.net/npm/js-spider/dist/JSpider.esm.min.js').then({JSpider}=>{    window.JSpider = JSpider;});// 导入插件,JSpider 还有很多功能插件const {    Request, // 请求库    Download, // 下载库} = JSpider.plugins;let urls = ['https://.....']// 您的爬取路径数组const spider = new JSpider()spider.pipeline(    Request(),    Plugin((data) => {        data        return data;    }),    Download());spider.crawl(urls);spider.start();// 等待下载完成!

!> 更多自定义代码教程

注意事项

1. CORS 和 CSP (Content Security Policy) 协议导致您无法爬取到数据。

CORS 和 CSP 是浏览器的安全策略,与 JSpider 无关,我推荐您遵守。很多网站使用了这两种协议来防止 Javascript 语言在浏览器中为所欲为,所以如果您使用的是 Chrome,可以在 Chrome 插件商店 中搜索 CORS 和 CSP,安装相应的插件即可解除这两个协议的报错。我无法保证这些插件的安全性,所以在此不推荐。

License

自 3.2 版本之后的版本都设置为 Apache-2.0, 3.2 之前版本均为 MIT License

Copyright © KonghaYao Apache-2.0 licensed


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap