开源软件名称：surfer
开源软件地址：https://gitee.com/henrylee2cn/surfer
开源软件介绍：
Surfer      -27a5ea.svg?style=flat-square) Surfer 是一款Go语言编写的高并发 web 客户端，拥有surf与phantom两种下载内核，高度模拟浏览器行为，可实现模拟登录等功能。 高并发爬虫Pholcus的专用下载器。 特性- 支持
surf 和 phantomjs 两种下载内核 - 支持大量随机的User-Agent
- 支持缓存cookie
- 支持
http/https两种协议
用法package mainimport ( "github.com/henrylee2cn/surfer" "io/ioutil" "log")func main() { // 默认使用surf内核下载 resp, err := surfer.Download(&surfer.Request{ Url: "http://github.com/henrylee2cn/surfer", }) if err != nil { log.Fatal(err) } b, err := ioutil.ReadAll(resp.Body) log.Println(string(b), err) // 指定使用phantomjs内核下载 surfer.SetPhantomJsFilePath("Path to phantomjs.exe") resp, err = surfer.Download(&surfer.Request{ Url: "http://github.com/henrylee2cn", DownloaderID: 1, }) if err != nil { log.Fatal(err) } b, err = ioutil.ReadAll(resp.Body) log.Println(string(b), err) resp.Body.Close() surfer.DestroyJsFiles()}完整示例 开源协议Surfer 项目采用商业应用友好的Apache License v2.发布  |
客服电话
APP下载
官方微信
请发表评论