<dependency>    <groupId>com.github.vector4wang</groupId>    <artifactId>vw-crawler</artifactId>    <version>${last.version}</version></dependency>

new VWCrawler.Builder()		// 配置参数		.setHeader("User-Agent",				"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36") // 设置请求头		.setUrl("https://blog.csdn.net/qqhjqs") // 设置爬虫起始地址		.setThreadCount(10) // 设置几个线程抓取数据		.setTimeOut(5000) // 设置超时时间		// 抽象正则		.setTargetUrlRex("https://blog.csdn.net/qqhjqs/article/details/[0-9]+") // 设置目标页面url的正则表达式		// 解析页面		.setPageParser(new CrawlerService<Blog>() {			/**			 * 有的url可能在某个场景下不需要可在此处理			 * 默认返回false，可以不做处理			 * @param url 即将要抓取的url			 * @return			 */			@Override			public boolean isExist(String url) {				if ("https://blog.csdn.net/qqhjqs/article/details/79101846".equals(url)) {					return true;				}				return false;			}			/**			 * 有的页面有WAF，可以再真正解析前，做个判断，遇到特殊标志的直接可以跳过			 * 默认返回true，可以不做处理			 * @param document 即将要解析的document			 * @return			 */			@Override			public boolean isContinue(Document document) {				if ("最近和未来要做的事 - CSDN博客".equals(document.title())) {					System.out.println("模拟遇到WAF此页面不做解析");					return false;				}				return true;			}			/**			 * 目标页面的doc对象，还有通过注解处理后的对象			 * @param doc 文档内容			 * @param pageObj 封装的对象			 */			@Override			public void parsePage(Document doc, Blog pageObj) {				// 可进行二次处理				pageObj.setReadNum(pageObj.getReadNum().replace("阅读数：", ""));			}			// 保存数据			/**			 * 可以做保存对象的处理			 * @param pageObj 页面对象			 */			@Override			public void save(Blog pageObj) {				System.out.println("save blog summery: " + pageObj.toString());			}		}) // 自定义解析service		.build().start(); // 启动

@CssSelector(selector = "#mainBox > main > div.blog-content-box > div.article-title-box > h1", resultType = SelectType.TEXT)private String title;@CssSelector(selector = "#mainBox > main > div.blog-content-box > div.article-info-box > div > span.time", dateFormat = "yyyy年MM月dd日 HH:mm:ss")private Date lastUpdateDate;@CssSelector(selector = "#mainBox > main > div.blog-content-box > div.article-info-box > div > div > span", resultType = SelectType.TEXT)private String readNum;

new VWCrawler.Builder().setUrl("https://www.qiushibaike.com/").setPageParser(new CrawlerService() {	@Override	public void parsePage(Document doc, Object pageObj) {		System.out.println(doc.toString());	}	@Override	public void save(Object pageObj) {	}}).build().start();