客服电话
APP下载
迪恩网络APP
随时随地掌握行业动态
官方微信
扫描二维码
关注迪恩网络微信公众号
|
之前用Scala和Go语言分别都写了一个爬虫，最近看了Perl，就来写个功能相同的版本。使用到了LWP::Simple模块，使用 cpan LWP安装即可（Ubuntu 13.04没有随Perl一同提供这个重要模块，太可惜了）。代码如下： 1 #!/usr/bin/perl 2 use LWP::Simple qw/get/; 3 4 my %pages; 5 print "Processing the index.\n"; 6 $_ = get("http://www.yifan100.com/dir/15136/"); 7 while(m#<a target="_blank" href="/article/(.*?)\.html" title="(.*?)" >#g){ 8 $pages{$1}=$2; 9 } 10 for(keys %pages){ 11 my ($l, $f) = ("http://www.yifan100.com/article/$_.html", "$_.txt"); 12 open F, ">$f"; 13 print "Processing $l.\n"; 14 if(get($l) =~ m#<div class="artcontent">(.*)<div >#s){ 15 $_ = $1; 16 s#<br>#\n#g; 17 s#<.*?>##gs; 18 s#^\s+##g; 19 print "Writing to $f.\n"; 20 print F; 21 } 22 close F; 23 } 显然，代码中用的是单线程（或者说单进程），全部执行完时间还是很多的（猜想主要是http下载时间比较长），之前用其他版本的测试时间也忘了。时间如下： real 3m58.753s user 0m0.900s sys 0m0.632s 很明显使用Perl，代码少了很多（和Scala和Go相比），处理文本是Perl的优势所在。 |
请发表评论