开源软件名称：

开源软件地址：

https://gitee.com/wkgcass/Search

开源软件介绍：

#Search对搜索引擎的搜索结果进行抓取.

Maven坐标

<dependency>  <groupId>net.cassite</groupId>  <artifactId>search</artifactId>  <version>0.0.1-RELEASE</version></dependency>

本工具使用SLF4J,如果需要日志输出请自行添加与配置日志实现

使用方式如下

Search search = new Search(new BaiduEngine());// 还可以选择 必应:BingEngine 360:SoEngine 搜狗:SogouEngine// 其中百度和必应的UserAgent是安卓,360和搜狗的UserAgent是Mac OS X/* * 使用如下方式搜索: */List<Resut> results = search.search("开源中国");// 或者Request req = new Request();req.setSite("my.oschina.net");req.setPage(0); // 页码从0开始req.getKeywords().add("wkgcass");results = search.search(req);// Engine对象可以指定一些参数,例如是否允许空cite之类.每种Engine可指定的参数不同.// Search对象可以指定DocumentProvider (默认为JsoupDocProvider)search = new Search(    new BaiduEngine().allowEmptyCite(true)).documentProvider(    JsoupDocProvider.get());

下面为从4个搜索引擎抓取的"开源中国"第一页结果(有的记录为应用,推广等,没有进行提取. 正常的结果是能够取到的)

[    [        {            "title": {                "title": "开源中国 - 找到您想要的开源项目,分享和交流",                "keyWord": {                    "0": "开源中国"                }            },            "content": {                "content": "开源中国 www.oschina.net 是目前中国最大的开源技术社区。我们传播开源的理念,推广开源项目,为 IT 开发者...",                "keywords": {                    "0": "开源中国"                }            },            "url": {                "link": "/from=0/bd_page_type=1/ssid=0/uid=0/pu=usm%400%2Csz%401320_1001%2Cta%40iphone_2_4.1_3_534/baiduid=2381A4DEC913D08F854D862DDCD8F197/w=0_10_%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD/t=iphone/l=1/tc?ref=www_iphone&lid=9628103814910827333&order=1&vit=osres&tj=www_normal_1_0_10_title&waput=6&waplogo=1&cltj=normal_title&dict=-1&title=%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD-%E6%89%BE%E5%88%B0%E6%82%A8%E6%83%B3%E8%A6%81%E7%9A%84%E5%BC%80%E6%BA%90%E9%A1%B9%E7%9B%AE%2C%E5%88%86%E4%BA%AB%E5%92%8C%E4%BA%A4%E6%B5%81&sec=12818&di=ffd943d7875c0364&bdenc=1&nsrc=IlPT2AEptyoA_yixCFOxXnANedT62v3IGtiORitQ_zSv953ybrWxBa",                "cite": "m.oschina.net"            }        },        {            "title": {                "title": "开源项目大全 - 开源中国社区",                "keyWord": {                    "0": "开源",                    "9": "开源中国"                }            },            "content": {                "content": "开源中国社区 www.oschina.net 成立于2008年8月,其目的是为中国的IT技术人员提供一个全面的、快捷更新的...",                "keywords": {                    "0": "开源中国"                }            },            "url": {                "link": "/from=0/bd_page_type=1/ssid=0/uid=0/pu=usm%400%2Csz%401320_1001%2Cta%40iphone_2_4.1_3_534/baiduid=2381A4DEC913D08F854D862DDCD8F197/w=0_10_%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD/t=iphone/l=3/tc?ref=www_iphone&lid=9628103814910827333&order=2&vit=osres&tj=www_normal_2_0_10_title&m=8&srd=1&cltj=cloud_title&dict=32&title=%E5%BC%80%E6%BA%90%E9%A1%B9%E7%9B%AE%E5%A4%A7%E5%85%A8-%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD%E7%A4%BE%E5%8C%BA&sec=12818&di=dd0baa090b8b01b7&bdenc=1&nsrc=IlPT2AEptyoA_yixCFOxXnANedT62v3IEQGG_y2H1T_8o5zthPXrZQRAUiH5KnqZF9Cb9a",                "cite": "www.oschina.net"            }        },        {            "title": {                "title": "开源中国_百度百科",                "keyWord": {                    "1": "开源中国"                }            },            "content": {                "content": "简介：开源中国成立于2008年8月，是目前国内最大的开源技术社区，拥有超过200万会员，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。2013年，开源中国建立大型综合性的云开发平台-中国源，为中国广大开发者提供团队协作、源码托管、代码质量分析、代码评审、测试、代码演示平台等功能。开源中国一直不遗余力地推动国内开源软件的应用和发展，为本土开源能力的提高、开源生态环境的优化提供长期推进的平台。开源中国客户端（Andorid 客户端、iPhone 客户端、Windows Phone 客户端）为用户提供了新闻,问答,动弹,动态以及消息中心的快捷操作方式,让用户能随时随地的在开源中国社区上与其他朋友互动。 Git@OSC 客户端（Andorid 客户端 和 iPhone 客户端）为用户提供了浏览项目、查看源码、发布 Is 简介 开源中国旗下子站点 中国源 Duke选择奖",                "keywords": {                    "3": "开源中国",                    "26": "开源",                    "48": "开源",                    "101": "开源",                    "115": "开源中国",                    "133": "中国",                    "138": "中国",                    "182": "开源中国",                    "197": "开源",                    "211": "开源",                    "219": "开源",                    "238": "开源中国",                    "328": "开源中国"                }            },            "url": {                "link": "http://m.baidu.com/from=0/bd_page_type=1/ssid=0/uid=0/pu=usm%401%2Csz%401320_1001%2Cta%40iphone_2_4.1_3_534/baiduid=2381A4DEC913D08F854D862DDCD8F197/w=0_10_%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD/t=iphone/l=1/tc?ref=www_iphone&lid=9628103814910827333&order=3&waplogo=1&fm=albk&tj=Xv_3_0_10_title&sec=12818&di=0eb1b26ae5789a47&bdenc=1&nsrc=IlPT2AEptyoA_yixCFOxXnANedT62v3IJBOMLikK1De8mVjte4viZQRAVDbqRzrIBZyhbDHLthUPaDD73mNUjtBOrhg-fzprjyS8",                "cite": ""            }        },        {            "title": {                "title": "中国开源现状如何? - 开源软件 - 知乎",                "keyWord": {                    "0": "中国开源",                    "12": "开源"                }            },            "content": {                "content": "2015年12月3日 - 小码农||大神都是“世界是平的”最好的践行者,他们已经越过边界看到了远方,你为什么还要问“中国”开源...",                "keywords": {                    "58": "中国",                    "61": "开源"                }            },            "url": {                "link": "/from=0/bd_page_type=1/ssid=0/uid=0/pu=usm%400%2Csz%401320_1001%2Cta%40iphone_2_4.1_3_534/baiduid=2381A4DEC913D08F854D862DDCD8F197/w=0_10_%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD/t=iphone/l=1/tc?ref=www_iphone&lid=9628103814910827333&order=5&vit=osres&tj=www_normal_5_0_10_title&waput=1&waplogo=1&cltj=normal_title&dict=-1&title=%E4%B8%AD%E5%9B%BD%E5%BC%80%E6%BA%90%E7%8E%B0%E7%8A%B6%E5%A6%82%E4%BD%95%3F-%E5%BC%80%E6%BA%90%E8%BD%AF%E4%BB%B6-%E7%9F%A5%E4%B9%8E&sec=12818&di=3b278eb247597edc&bdenc=1&nsrc=IlPT2AEptyoA_yixCFOxXnANedT62v3IEQGG_zRQ_z_b95qshbWxBcVvZyDbKXSMZpPPdj4XtxoHx87",                "cite": "www.zhihu.com"            }        },        {            "title": {                "title": "手机客户端 - 开源中国社区",                "keyWord": {                    "8": "开源中国"                }            },            "content": {                "content": "开源中国Android、iPhone、WP7客户端,为你提供触手可及的OSChina.NET开源信息",                "keywords": {                    "0": "开源中国"                }            },            "url": {                "link": "/from=0/bd_page_type=1/ssid=0/uid=0/pu=usm%400%2Csz%401320_1001%2Cta%40iphone_2_4.1_3_534/baiduid=2381A4DEC913D08F854D862DDCD8F197/w=0_10_%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD/t=iphone/l=3/tc?ref=www_iphone&lid=9628103814910827333&order=6&vit=osres&tj=www_normal_6_0_10_title&m=8&srd=1&cltj=cloud_title&dict=21&nt=wnor&title=%E6%89%8B%E6%9C%BA%E5%AE%A2%E6%88%B7%E7%AB%AF-%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD%E7%A4%BE%E5%8C%BA&sec=12818&di=565ee8d866d1f498&bdenc=1&nsrc=IlPT2AEptyoA_yixCFOxXnANedT62v3IEQGG_y2H1T_8o5zthPXrZQRAYy4f",                "cite": "www.oschina.net"            }        },        {            "title": {                "title": "开源中国众包平台",                "keyWord": {                    "0": "开源中国"                }            },            "content": {                "content": "开源中国众包平台 (zb.oschina.net)--共享经济下的软件发布、项目发包接包、悬赏开发、雇佣开发者的服务...",                "keywords": {                    "0": "开源中国"                }            },            "url": {                "link": "/from=0/bd_page_type=1/ssid=0/uid=0/pu=usm%400%2Csz%401320_1001%2Cta%40iphone_2_4.1_3_534/baiduid=2381A4DEC913D08F854D862DDCD8F197/w=0_10_%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD/t=iphone/l=3/tc?ref=www_iphone&lid=9628103814910827333&order=7&vit=osres&tj=www_normal_7_0_10_title&m=8&srd=1&cltj=cloud_title&dict=32&title=%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD%E4%BC%97%E5%8C%85%E5%B9%B3%E5%8F%B0&sec=12818&di=ca52aab1dc98ea57&bdenc=1&nsrc=IlPT2AEptyoA_yixCFOxXnANedT62v3IDBTPKjtX_j35nI3tfeSaUb3",                "cite": "zb.oschina.net"            }        },        {            "title": {                "title": "在线工具 —— 开源中国社区",                "keyWord": {                    "8": "开源中国"                }            },            "content": {                "content": "开源中国在线工具,ostools为开发设计人员提供在线工具,提供jsbin在线 CSS、JS 调试,在线 Java API文档,在线 ...",                "keywords": {                    "0": "开源中国"                }            },            "url": {                "link": "/from=0/bd_page_type=1/ssid=0/uid=0/pu=usm%400%2Csz%401320_1001%2Cta%40iphone_2_4.1_3_534/baiduid=2381A4DEC913D08F854D862DDCD8F197/w=0_10_%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD/t=iphone/l=3/tc?ref=www_iphone&lid=9628103814910827333&order=8&vit=osres&tj=www_normal_8_0_10_title&m=8&srd=1&cltj=cloud_title&dict=32&title=%E5%9C%A8%E7%BA%BF%E5%B7%A5%E5%85%B7%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD%E7%A4%BE%E5%8C%BA&sec=12818&di=e41149a369aa6b93&bdenc=1&nsrc=IlPT2AEptyoA_yixCFOxXnANedT62v3IEhmOKWBLATm7pE37xPraFBEsR_",                "cite": "tool.oschina.net"            }        },        {            "title": {                "title": "Linux.中国-开源社区",                "keyWord": {                    "6": "中国",                    "9": "开源"                }            },            "content": {                "content": "Linux中国是一家创立于2003年的国内开源社区,主要关注方向在 Linux 推广、Linux 技术研究、Linux 业界事件的...",                "keywords": {                    "5": "中国",                    "21": "开源"                }            },            "url": {                "link": "/from=0/bd_page_type=1/ssid=0/uid=0/pu=usm%400%2Csz%401320_1001%2Cta%40iphone_2_4.1_3_534/baiduid=2381A4DEC913D08F854D862DDCD8F197/w=0_10_%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD/t=iphone/l=1/tc?ref=www_iphone&lid=9628103814910827333&order=9&vit=osres&tj=www_normal_9_0_10_title&waput=4&waplogo=1&cltj=normal_title&dict=-1&nt=wnor&title=Linux.%E4%B8%AD%E5%9B%BD-%E5%BC%80%E6%BA%90%E7%A4%BE%E5%8C%BA&sec=12818&di=3565c30a16ec37df&bdenc=1&nsrc=IlPT2AEptyoA_yixCFOxXnANedT62v3IGhuPQDYK1TTrzye",                "cite": "linux.cn"            }        },        {            "title": {                "title": "开源硬件 - 开源中国社区",                "keyWord": {                    "0": "开源",                    "7": "开源中国"                }            },            "content": {                "content": "开源硬件Arduino、kiwiboard、树莓派等开源硬件专区",                "keywords": {                    "0": "开源",                    "26": "开源"                }            },            "url": {                "link": "/from=0/bd_page_type=1/ssid=0/uid=0/pu=usm%400%2Csz%401320_1001%2Cta%40iphone_2_4.1_3_534/baiduid=2381A4DEC913D08F854D862DDCD8F197/w=0_10_%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD/t=iphone/l=3/tc?ref=www_iphone&lid=9628103814910827333&order=10&vit=osres&tj=www_normal_10_0_10_title&m=8&srd=1&cltj=cloud_title&dict=32&nt=wnor&title=%E5%BC%80%E6%BA%90%E7%A1%AC%E4%BB%B6-%E5%BC%80%E6%BA%90%E4%B8%AD%E5%9B%BD%E7%A4%BE%E5%8C%BA&sec=12818&di=12a2e0ffce604b97&bdenc=1&nsrc=IlPT2AEptyoA_yixCFOxXnANedT62v3IEQGG_y2H1T_8o5zthPXrZQRAWj0hNGyXEUC",                "cite": "www.oschina.net"            }        }    ],    [        {            "title": {                "title": "开源中国 - 找到您想要的开源项目，分享和交流",                "keyWord": {                    "0": "开源中国",                    "13": "开源"                }            },            "content": {                "content": "开源中国 www.oschina.net 是目前中国最大的开源技术社区。我们传播开源的理念，推广开源项目，为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国 ...",                "keywords": {                    "0": "开源中国",                    "9": "oschina",                    "24": "中国",                    "29": "开源",                    "40": "开源",                    "48": "开源",                    "75": "开源",                    "85": "开源中国"                }            },            "url": {                "link": "http://m.oschina.net/",                "cite": "www.oschina.net"            }        },        {            "title": {                "title": "开源中国 - 开源中国社区",                "keyWord": {                    "0": "开源中国",                    "7": "开源中国"                }            },            "content": {                "content": "新中国成立还没有70年。我们那里抗日战争时八路军住过的房子已经拿来当古董、当景点了，抗日战争距离现在也才70多年",                "keywords": {                    "0": "新中国"                }            },            "url": {                "link": "http://my.oschina.net/gaoyoubo",                "cite": "my.oschina.net"            }        },        {            "title": {                "title": "在线工具 —— 开源中国社区",                "keyWord": {                    "8": "开源中国"                }            },            "content": {                "content": "开源中国在线工具,ostools为开发设计人员提供在线工具，提供jsbin在线 CSS、JS 调试，在线 Java API文档,在线 PHP API文档,在线 Node.js API文档,Less CSS编译器 ...",                "keywords": {                    "0": "开源中国"                }            },            "url": {                "link": "http://tool.oschina.net/",                "cite": "tool.oschina.net"            }        },        {            "title": {                "title": "Java自由人 - 开源中国社区",                "keyWord": {                    "10": "开源中国"                }            },            "content": {                "content": "加入时间： 2008年8月31日 (Sun)，最近登录: 58分钟前 所在地区： 广东 深圳 工作单位： 开源中国社区 - 创始人 - 产品经理 城市圈： 沈阳， 武汉 ...",                "keywords": {                    "53": "开源中国"                }            },            "url": {                "link": "http://my.oschina.net/javayou",                "cite": "my.oschina.net"            }        },        {            "title": {                "title": "开源中国的微博_微博",                "keyWord": {                    "0": "开源中国"                }            },            "content": {                "content": "开源中国，开源中国官方微博。开源中国的微博主页、个人资料、相册。新浪微博，随时随地分享身边的新鲜事儿。 ... 恒拓开源已经获得新三板的挂牌批准涵，股票代码 ...",                "keywords": {                    "0": "开源中国",                    "5": "开源中国",                    "14": "开源中国",                    "58": "开源"                }            },            "url": {                "link": "http://weibo.cn/oschina2010",                "cite": "www.weibo.com"            }        },        {            "title": {                "title": "开源中国招聘 - 首页",                "keyWord": {                    "0": "开源中国"                }            },            "content": {                "content": "手机版开源中国招聘job.oschina.net是一个以IT技术人员招聘的垂直领域招聘平台，依托开源中国社区oschina.net，为程序员、开发者量身定做属于程序员、开发者的简历，为开发者和 ...",                "keywords": {                    "3": "开源中国",                    "13": "oschina",                    "48": "开源中国",                    "54": "oschina"                }            },            "url": {                "link": "http://job.oschina.net/",                "cite": "job.oschina.net"            }        },        {            "title": {                "title": "Team@OSC 团队协作开发 - 开源中国",                "keyWord": {                    "18": "开源中国"                }            },            "content": {                "content": "Team@OSC 是开源中国推出的专门针对开发者的轻量级的团队协作开发平台。 ... Team@OSC 是一个团队协作开发平台,轻松管理轻量级团队。代码运行平台(PaaS)、代码 ...",                "keywords": {                    "10": "开源中国"                }            },            "url": {                "link": "http://team.oschina.net/",