在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
CURL 是一个利用URL语法规定来传输文件和数据的工具,支持很多协议,如HTTP、FTP、TELNET等。最爽的是,PHP也支持 CURL 库。使用PHP的CURL 库可以简单和有效地去抓网页。你只需要运行一个脚本,然后分析一下你所抓取的网页,然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,那怕就是简单的获取网页内容,CURL 是一个功能强大的PHP库。 PHP建立CURL请求的基本步骤①:初始化 curl_init() ②:设置属性 curl_setopt().有一长串CURL 参数可供设置,它们能指定URL请求的各个细节。 ③:执行并获取结果 curl_exec() ④:释放句柄 curl_close() CURL实现GET和POST①:GET方式实现 1 //初始化 2 $curl = curl_init(); 3 //设置抓取的url 4 curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com'); 5 //设置头文件的信息作为数据流输出 6 curl_setopt($curl, CURLOPT_HEADER, 1); 7 //设置获取的信息以文件流的形式返回,而不是直接输出。 8 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 9 //执行命令 10 $data = curl_exec($curl); 11 //关闭URL请求 12 curl_close($curl); 13 //显示获得的数据 14 print_r($data); ②:POST方式实现 1 //初始化 2 $curl = curl_init(); 3 //设置抓取的url 4 curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com'); 5 //设置头文件的信息作为数据流输出 6 curl_setopt($curl, CURLOPT_HEADER, 1); 7 //设置获取的信息以文件流的形式返回,而不是直接输出。 8 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 9 //设置post方式提交 10 curl_setopt($curl, CURLOPT_POST, 1); 11 //设置post数据 12 $post_data = array( 13 "username" => "coder", 14 "password" => "12345" 15 ); 16 curl_setopt($curl, CURLOPT_POSTFIELDS, $post_data); 17 //执行命令 18 $data = curl_exec($curl); 19 //关闭URL请求 20 curl_close($curl); 21 //显示获得的数据 22 print_r($data); ③:如果获得的数据时json格式的,使用json_decode函数解释成数组。 $output_array = json_decode($data,true); //如果第二个参数为true,就转为数组的形式。如果不填就为对象的形式 如果使用json_decode($data)解析的话,将会得到object类型的数据。 我自己封装的一个函数1 //参数1:访问的URL,参数2:post数据(不填则为GET),参数3:提交的$cookies,参数4:是否返回$cookies 2 function curl_request($url,$post='',$cookie='', $returnCookie=0){ 3 $curl = curl_init(); 4 curl_setopt($curl, CURLOPT_URL, $url); 5 curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)'); 6 curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); 7 curl_setopt($curl, CURLOPT_AUTOREFERER, 1); 8 curl_setopt($curl, CURLOPT_REFERER, "http://XXX"); 9 if($post) { 10 curl_setopt($curl, CURLOPT_POST, 1); 11 curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post)); 12 } 13 if($cookie) { 14 curl_setopt($curl, CURLOPT_COOKIE, $cookie); 15 } 16 curl_setopt($curl, CURLOPT_HEADER, $returnCookie); 17 curl_setopt($curl, CURLOPT_TIMEOUT, 10); 18 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 19 $data = curl_exec($curl); 20 if (curl_errno($curl)) { 21 return curl_error($curl); 22 } 23 curl_close($curl); 24 if($returnCookie){ 25 list($header, $body) = explode("\r\n\r\n", $data, 2); 26 preg_match_all("/Set\-Cookie:([^;]*);/", $header, $matches); 27 $info['cookie'] = substr($matches[1][0], 1); 28 $info['content'] = $body; 29 return $info; 30 }else{ 31 return $data; 32 } 33 } 这俩个函数虽然不难,但是还是值得学习一下的。因为在做接口或者调用的接口的时候,必定会用到这俩个函数。 CURL 是一个利用URL语法规定来传输文件和数据的工具,支持很多协议,如HTTP、FTP、TELNET等。最爽的是,PHP也支持 CURL 库。使用PHP的CURL 库可以简单和有效地去抓网页。你只需要运行一个脚本,然后分析一下你所抓取的网页,然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,那怕就是简单的获取网页内容,CURL 是一个功能强大的PHP库。 PHP建立CURL请求的基本步骤①:初始化 curl_init() ②:设置属性 curl_setopt().有一长串CURL 参数可供设置,它们能指定URL请求的各个细节。 ③:执行并获取结果 curl_exec() ④:释放句柄 curl_close() CURL实现GET和POST①:GET方式实现 1 //初始化 2 $curl = curl_init(); 3 //设置抓取的url 4 curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com'); 5 //设置头文件的信息作为数据流输出 6 curl_setopt($curl, CURLOPT_HEADER, 1); 7 //设置获取的信息以文件流的形式返回,而不是直接输出。 8 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 9 //执行命令 10 $data = curl_exec($curl); 11 //关闭URL请求 12 curl_close($curl); 13 //显示获得的数据 14 print_r($data); ②:POST方式实现 1 //初始化 2 $curl = curl_init(); 3 //设置抓取的url 4 curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com'); 5 //设置头文件的信息作为数据流输出 6 curl_setopt($curl, CURLOPT_HEADER, 1); 7 //设置获取的信息以文件流的形式返回,而不是直接输出。 8 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 9 //设置post方式提交 10 curl_setopt($curl, CURLOPT_POST, 1); 11 //设置post数据 12 $post_data = array( 13 "username" => "coder", 14 "password" => "12345" 15 ); 16 curl_setopt($curl, CURLOPT_POSTFIELDS, $post_data); 17 //执行命令 18 $data = curl_exec($curl); 19 //关闭URL请求 20 curl_close($curl); 21 //显示获得的数据 22 print_r($data); ③:如果获得的数据时json格式的,使用json_decode函数解释成数组。 $output_array = json_decode($data,true); //如果第二个参数为true,就转为数组的形式。如果不填就为对象的形式 如果使用json_decode($data)解析的话,将会得到object类型的数据。 我自己封装的一个函数1 //参数1:访问的URL,参数2:post数据(不填则为GET),参数3:提交的$cookies,参数4:是否返回$cookies 2 function curl_request($url,$post='',$cookie='', $returnCookie=0){ 3 $curl = curl_init(); 4 curl_setopt($curl, CURLOPT_URL, $url); 5 curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)'); 6 curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); 7 curl_setopt($curl, CURLOPT_AUTOREFERER, 1); 8 curl_setopt($curl, CURLOPT_REFERER, "http://XXX"); 9 if($post) { 10 curl_setopt($curl, CURLOPT_POST, 1); 11 curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post)); 12 } 13 if($cookie) { 14 curl_setopt($curl, CURLOPT_COOKIE, $cookie); 15 } 16 curl_setopt($curl, CURLOPT_HEADER, $returnCookie); 17 curl_setopt($curl, CURLOPT_TIMEOUT, 10); 18 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 19 $data = curl_exec($curl); 20 if (curl_errno($curl)) { 21 return curl_error($curl); 22 } 23 curl_close($curl); 24 if($returnCookie){ 25 list($header, $body) = explode("\r\n\r\n", $data, 2); 26 preg_match_all("/Set\-Cookie:([^;]*);/", $header, $matches); 27 $info['cookie'] = substr($matches[1][0], 1); 28 $info['content'] = $body; 29 return $info; 30 }else{ 31 return $data; 32 } 33 } 这俩个函数虽然不难,但是还是值得学习一下的。因为在做接口或者调用的接口的时候,必定会用到这俩个函数。 |
2022-07-18
2022-08-17
2022-11-06
2022-07-08
2022-08-17
请发表评论