[第一次]用php+flashget取别人的数据

OStack程序员社区-中国程序员成长平台 › 门户 › 编程› PHP›PHP编程经验

原作者: [db:作者] 来自: [db:来源] 收藏邀请

139life的餐厅数据很全，我做的wap正好有一块是餐厅介绍。

从上个星期5开始取数据，一开始写的利用file_get_contents，整个过程都由程序控制。结果由于这个函数会超时导致脚本中断，我一点办法也没有，只好放弃。只好分步骤用flashget将文件下载到指定目录。

整个过程人工操作异常复杂。所以程序其实起的作用不大，只是处理现成的数据html文本。

还好今天晚上终于弄好了。

下面的代码是第一个，整个过程都由程序控制，可惜不能对链接重试，file_get_contents只会超时报错。

所以没办法，只好自己用flashget手工取了。

$file = "repast_mingxi2.html";

$repast = file_get_contents($file);

$q = '';

//anaRepastContent( $repast ,$catid );

//分析餐厅的数据

function anaRepastContent( &$repast ,$catid ){
global $q;
$from = '<table width="596" border="0" align="center" cellpadding="0" cellspacing="0">';

$to = '<br>			</td>';

$cd = cut2($repast,$from,$to);

$cd = iconv("gb2312" ,"utf-8" ,$cd);

//echot( $cd);

//开始分析

//餐馆名称.

$reg='/<td width="519" height="25"> ([^<]*)<\/td>/i';

preg_match($reg , $cd , $match);

$title = $match[1];

//是否支持刷卡

$reg2='/<td width="25%" height="33"><div align="center">刷卡   <img src="index_image\/([^"]+)"/i';

preg_match($reg2 , $cd , $match);

$card = ( $match[1] == "stop.gif" )?0:1;

//是否代客泊车

$reg3='/<td width="25%" height="33"><div align="center">代客泊车   <img src="index_image\/([^"]+)"/i';

preg_match($reg3 , $cd , $match);

$helppark = ( $match[1] == "stop.gif" )?0:1;

//是否允许吸烟

$reg4='/<td width="25%" height="33"><div align="center">吸烟   <img src="index_image\/([^"]+)"/i';

preg_match($reg4 , $cd , $match);

$smoking = ( $match[1] == "stop.gif" )?0:1;

//其他列,时间,地点........

$reg='/<td height="25" colspan="3">( |[\t ]*)([^<]+)<\/td>/i';

preg_match_all($reg , $cd , $matches);	//pr($matches);
$opentime = trim($matches[2][0]);   //营业时间
$tm = split( "-" , $opentime);
$opentimefrom = $tm[0];
$opentimeto = $tm[1];

$averagecosts = trim($matches[2][1]); //人均消费
$stalls = trim($matches[2][2]); //车位数
$maxholdpeople = trim($matches[2][3]); //最大容纳人数
$boxes = trim($matches[2][4]);  //包厢
$phone = trim($matches[2][5]); 
$address = trim($matches[2][6]);
$homepage = trim($matches[2][7]);

//餐厅介绍
$from = '<td width="72%" class="paraFormat">    ';
$to = '</td>';
$summary = cut2( $cd ,$from,$to,'in');
//echot($summary);

//推荐菜品 dish

//菜名
$reg='/<td width="216" height="25" bgcolor="#FFE3BE"> ([^<]+)<\/td>/i';
preg_match_all($reg , $cd , $matches1);	//pr($matches1);
//菜价
$reg = '/<td width="226" height="25" bgcolor="#FFE3BE"> ([\d]+)（元）<\/td>/i';
preg_match_all($reg , $cd , $matches2);	//pr($matches2);

$dish = '';
$n=count($matches1[1]);
for ($i=0;$i<$n ;$i++ ) {
    $dishtitle = $matches1[1][$i];
	$dishprice = $matches2[1][$i];
	$dish .=$dishtitle.":".$dishprice."\r\n";
}

//菜名
$reg = '/<td width="216" height="25" bgcolor="#FFEFD8"> ([^<]+)<\/td>/i';
preg_match_all($reg , $cd , $matches3);	//pr($matches3);
//菜价
$reg = '/<td width="226" height="25" bgcolor="#FFEFD8"> ([\d]+)（元）<\/td>/i';
preg_match_all($reg , $cd , $matches4);	//pr($matches4);

$n=count($matches3[1]);
for ($i=0;$i<$n ;$i++ ) {
    $dishtitle = $matches3[1][$i];
	$dishprice = $matches4[1][$i];
	$dish .=$dishtitle.":".$dishprice."\r\n";
}

//echot( $dish);

$q .= "('', '$title', 1, 27, $catid , $mainareaid , $areaid , '$phone', '$address', '$opentimefrom' ,'$opentimeto', '$averagecosts', $stalls , $maxholdpeople, $boxes, '$homepage', $card, $helppark, $smoking, '$summary', '', '$dish'),\n";
//echo $q;
//$sql ="INSERT INTO `mos_wap_repast` VALUES";
//die;

}//end func anaRepastContent

$logfile = "log1.txt"; 
if (!is_file($logfile)) {
    $fp = fopen($logfile,"wb");
    fwrite($fp,"");
    fclose($fp);
}

$log = file_get_contents($logfile);

//启动主过程

$file = "D:/web/mambog_corp/administrator/components/com_wap/139life/catlinkk.htm";

mainsub($file);

/*
* mainsub 循环所有类别。
*/
function mainsub($file  ){
	
	global $database ;

$c = file_get_contents($file);

$reg = "\r\n";

$matches = split($reg , $c );//preg_match_all( $reg , $c , $matches );

//pr($matches);

//循环所有类别链接
	echo "循环所有类别开始\n";

foreach ($matches as $v) {
		
		$urls = split("\?",$v);

$params = $urls[1];

$reg="/&|&/i";
		
		$parr = preg_split( $reg , $params );
		
		$cat = $parr[0];

$ab = split("=",$cat);

$a = $ab[1];  //具体菜系,苏菜

//开始取这个具体菜系在数据库中的id

$q = "select id from #__wap_categories where title='$a' and pid=27";

$database->setQuery($q);

$catid = $database->loadResult();
		
		//处理本类别

main( $v , $catid );

break;

}

//echo "循环所有类别完毕\n";
	
		global $q;

$sql ="INSERT INTO `mos_wap_repast` VALUES".$q;
		$sqlfile = "caixi.sql";
		$fp = fopen($sqlfile,"wb");
		fwrite($fp,$sql);
		fclose($fp);

//$sql = "INSERT INTO `mos_wap_categories` VALUES ".$sql1;

}

//main循环同类的页数

function main( $caturl ,$catid  ){
	
	//echo $caturl."		".$catid."\n";

//取url，并切割得到干净的列表数据块cs

$cs = cutRepastList( $caturl ); 
	
	//$cs = iconv("gb2312" ,"utf-8" ,$cs);
	
	//echot($cs);

//对得到的数据块分析出链接，取来文本，处理并生成插入数据库sql。

doRepastList( $cs ,$catid);

//取本数据块的页面数目。

$pagen = getPageNum( $cs );

//如果本类别数目大于1，则循环取页面。

for ($i=1;$i<$pagen ;$i++ ) {
		
		//循环处理本分类下的所有页面	getRepastList( $cs );

//得到干净的列表数据块

$file = $caturl."&page=".$i;

$cs = cutRepastList( $file );

//对得到的数据块分析出链接，取来文本，处理并生成插入数据库sql。

doRepastList( $cs ,$catid );
		
		//echo $i."<br/>";

}

function cutRepastList( $file ){

//$file = "repastlist2.html";
	
	echo "[$file]		".$catid."\n";

$c = file_get_contents($file); //	$c = iconv("gb2312" ,"utf-8" ,$c);  echot($c,1000,1000); die;

$from ='<table width="602" border="1" align="center" cellpadding="0" cellspacing="0" bordercolor="#FFFFFF">';

$to = '<br>			</td>';

return cut2( $c , $from,$to);

}

//一页数据50条

function doRepastList( $cs ,$catid ){

global $log ,$logfile ;

//取连接
/*
<td height="35" bgcolor="#E6E4E5"> <a href="cenSearchDetail.asp?id=851">姚阿姨餐饮</a></td>
*/

//餐厅名和链接

$reg1 = '/<a href="(cenSearchDetail.asp\?id=[^"]+)">([^>]+)<\/a>/i';

preg_match_all($reg1 , $cs , $matches );

//prt( $matches , 1000 , 1000  ); die;

$n=count($matches[1]);

for ($i=0;$i<$n ;$i++ ) {

$url = "http://www.139life.com/m/".$matches[1][$i];

$title .= $matches[2][$i];

//最后一步，取餐厅信息详细页面，并分析。

//这个对所有链接进行取值处理。分析最后的页面，生成插入数据库的sql。

//由于脚本很弱，可能执行中断，故需要写日志，以避免重复的工作。

//判断日志

$mm = split("=",$matches[1][$i]);

$id = $mm[1];

$step = $catid."-".$id;

if (strpos($log,$step)===false) {

echo "[$url]\n";
		
			$repast = file_get_contents($url);

$steps .=$step." ";
			
			anaRepastContent( $repast ,$catid ) ;
		
		}

}
	
//写日志

$fp = fopen($logfile,"ab");
fwrite($fp,$steps);
fclose($fp);

}//end func

function getPageNum( &$cs ){
		
	//共几页

$reg = "/共([\d]+)页/i";
	
	 preg_match($reg , $cs , $match);

$pagen = $match[1];
	
	return $pagen;

}//end func

//echot( $link , 800 ,500);

/*	
$fp = fopen("catlink.htm","wb");
fwrite($fp,$link);
fclose($fp);	
*/

84    平江       0  84  area  
85    沧浪       0  85  area  
86    金阊       0  86  area  
87    吴中       0  87  area  
88    相城       0  88  area

鲜花

握手

雷人

路过

鸡蛋

该文章已有0人参与评论

请发表评论

全部评论

专题导读

More+

10-27 六六分期app的软件客服如何联系？(六六分期

11-06 可心卡盟:win10系统火狐flash插件崩溃怎么

11-06 亲亲特价:怎么删除回收站图标

11-06 济南大学虚拟社区:鲁大师节能降温的具体办

11-06 xlueops.exe:无线网络安装向导

11-06 女斗合众国:win7系统cf与主机连接不稳定怎

11-06 0xc000022-[cf烟雾头]cf怎么调烟雾头

11-06 qizideyouhuo:应用程序无法正常启动0xc0000

11-06 ipz-185:win7系统vcf文件怎么打开

11-06 傻哥蹦迪:win10系统s4怎么打开usb调试

11-06 八神浩树gtaste:回收站清空了怎么恢复

11-06 妖尾之黑色守护:win10系统电脑没有1440x900

11-06 校园至尊魔王小说:win7系统浏览网页时字体

11-06 女斗合众国:win10系统访问共享文件夹提示请

11-06 tokyo hot n0654:恢复win7系统默认字体一招

11-06 雨酷仙境:设置win7系统转移临时文件夹腾出

11-06 阿穆纳伊之杖:win7系统开始菜单在右边还原

11-06 tunespotting:win10系统火狐flash插件总是

11-06 甘尔葛分析师：计谋网站seo关键词暴涨有什

11-06 蔡贵霖: 计谋网站seo关键词暴涨有什么秘密

11-06 博益网首页:ao3网页版进入不了解决方法

11-06 漏斗子专栏: 网站数据分析小白易懂精华篇

11-06 见证双虹怎么做:win7系统开启telnet命令的

11-06 颾狐蝶蜋:系统资源不足无法完成请求的服务

11-06 国光中学校歌:提交网站到alexa查询详细步骤

11-06 西安有情天:静态网页和动态网页的区别

11-06 红木雅尚斋:外部链接构造对网站的好处

11-06 前官礼遇：防止域名劫持–增强域安全性的10

11-06 密传二转答案: 中文分词算法有哪些

11-06 金泉家园邮编:百度快照劫持的表现及应对方

PHPCLI模式开发(转)发布时间：2022-07-12

php写爬虫之使用PHP的curl扩展抓取页面数据发布时间：2022-07-12

dzikoysk/reposilite: Lightweight and eas

1 mohamednagy/Laravel-rating: Laravel pack

mohamednagy/Laravel-rating: Laravel package that allows you to rate, like disli

阅读：1747|2022-08-13

2 bradtraversy/iweather: Ionic 3 mobile we

bradtraversy/iweather: Ionic 3 mobile weather app

阅读：1646|2022-08-30

3 joaomh/curso-de-matlab

joaomh/curso-de-matlab

阅读：1206|2022-08-17

4 断牙刷新位置时间（断牙属性及刷新位置介绍

魔兽世界怀旧服已经开启两个多月了，但作为一个猎人玩家，抓到“断牙”，已经成为了一

阅读：1062|2022-11-06

5 Delphi给frxReport赋值《lcemeaning》

unitUnit1;interfaceusesWinapi.Windows,Winapi.Messages,System.SysUtils,System.Var

阅读：578|2022-07-18

6 rugk/mastodon-simplified-federation: Sim

rugk/mastodon-simplified-federation: Simplifies following and interacting with r

阅读：1129|2022-08-17

7 CVE-2022-31144

Redis is an in-memory database that persists on disk. A specially crafted `XAUTO

阅读：560|2022-07-29

8 edtrejo/rdpwrap: RDP Wrapper Library

edtrejo/rdpwrap: RDP Wrapper Library

阅读：1059|2022-08-15

9 Tangshitao/Dense-Scene-Matching: Learnin

Tangshitao/Dense-Scene-Matching: Learning Camera Localization via Dense Scene Ma

阅读：817|2022-08-16

10 Respring是什么意思?没有越狱设备如何 Resp

相信不少果粉在对自己的设备进行某些操作时，都会碰到Respring，但这个 Respring 到底

阅读：388|2022-11-06

客服电话

电子邮件

[第一次]用php+flashget取别人的数据

请发表评论

全部评论

上一篇：

下一篇：

krishnaik06/Machine-Learning-in-90-days

美元符号为什么是“$”

Mekolaos/Aternos-On-Discord: A Discord B

关于微信小程序getUserInfo最新修改后，如

FNNDSC/matlab: Matlab Projects and Snipp

dzikoysk/reposilite: Lightweight and eas

bradtraversy/iweather: Ionic 3 mobile we

Audio Sweetener (@AudioSweetener@botsin.

断牙刷新位置时间（断牙属性及刷新位置介绍

testing-library/dom-testing-library:

Delphi中的hashtable

关于我们

产品与服务

解决方案

139-2527-9053