java 爬虫发送请求

Question

asked Jan 27, 2021 in Technique[技术] by 深蓝 (71.8m points)

HttpGet httpGet = new HttpGet(url);
httpGet.setHeader("User-Agent", "Mozilla/5.0(Windows NT 6.1;Win64; x64; rv:50.0) Gecko/20100101 Firefox/50.0");

我想问一下，这种httpGet 每次请求一个url 都需要new 一下？那我的这个setheader 每次也需要？这是不是太麻烦很多重合代码？因为一个网站可能很多url来回跳转

与恶龙缠斗过久,自身亦成为恶龙；凝视深渊过久,深渊将回以凝视…

1 Answer

深蓝 · Answer 1 · 2021-01-26T20:36:56+0000

可以看看文档嘛。

初始化的时候可以给定请求默认的header:

HttpClientBuilder.create().setDefaultHeaders()