R语言 rvest爬取大众点评上海商场信息(R语言＆大数据分析qq群 456726635 欢迎讨论交流 ...

OStack程序员社区-中国程序员成长平台 › 门户 › 编程› R语言›R语言教程

R语言 rvest爬取大众点评上海商场信息(R语言＆大数据分析qq群 456726635 欢迎讨论交流 ...

原作者: [db:作者] 来自: [db:来源] 收藏邀请

library(rvest)
library(xml2)
library(magrittr)

#点评官网
dianpingweb<-"http://www.dianping.com"
#综合商场
comshop<-"/search/category/1/20/g119p"

#
webii<-seq(1:22)

fulldata<-data.frame()

for(i in webii)
{

web<-read_html(paste0(dianpingweb,comshop,as.character(i)),encoding="UTF-8") #"http://www.dianping.com/search/category/1/20/g119"


#商城名字
businame<-web %>% html_nodes("div.tit")%>% html_nodes("h4")%>% html_text()
busitag<-web %>% html_nodes("div.tag-addr")%>% html_nodes("a")%>% html_nodes("span")%>% html_text()
temptag<-matrix(busitag,ncol=2,byrow=T)



#商城类别和商城地址
busicatog<-temptag[,1]

busiaddr<-temptag[,2]

#商城等级
busideg<-web %>% html_nodes("div.comment")%>% html_nodes("span")%>%html_attr("title")

#评论数
# reviewa<-web %>% html_nodes("div.comment")%>% html_nodes("a.review-num")%>%html_text()
reviewnum<-web %>% html_nodes("div.comment")%>% html_nodes("a.review-num b")%>%html_text()
# reviewa

#平均消费tempprice
nullprice<-web %>% html_nodes("a.mean-price b")%>%html_text()
nullprice<-gsub(pattern = "￥", replacement = "", nullprice)
pricea<-web %>% html_nodes("a.mean-price")%>%html_text()
jvector<-vector()
for(j in 1:length(pricea))
{
pricelist=unlist(strsplit(pricea[j],split=" "))
pricegrep<-grep(pattern = "\\￥", pricelist, value = TRUE)
if(identical(pricegrep, character(0)))
{
jvector[j]=0
}
else jvector[j]=1
}
meanprice=jvector
ii=1
for(k in 1:length(jvector))
{
if(jvector[k]==1)
{
meanprice[k]=nullprice[ii]
ii=ii+1
}
}
meanprice



#下一层连接url
childhtml<-web %>% html_nodes("div.pic")%>% html_nodes("a")%>%html_attr("href")







print(i)

}

图片中是爬取的数据样例。

点击链接加入群【R语言＆大数据分析】：https://jq.qq.com/?_wv=1027&k=4BQLEWp，R语言＆大数据分析qq群 456726635 欢迎讨论交流