在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
一开始搭建中国博客联盟,既有博友提醒我,做网址大全这类网站维护很麻烦,需要大量的精力去Debug一些已夭折的网站,更是拿松哥的博客大全举例。当然,我也是深以为然。前些时间,看到梦轩丽人的boke123网址大全的维护记录,好像是纯手工检查,张戈实在是佩服的五体投地,太有毅力了。
#!/bin/bash #Author:ZhangGe #Date:2014-08-21 #Desc:Check the site of ZGboke Alliance. #取出网站数据 data=`/usr/bin/mysql -uroot -p123456 -e "use zgboke;select web_url from dir_websites where web_status='3';" -N -B | awk '{print $1}'` if [ -z "$data" ];then echo "Faild to connect database!" exit 1 fi test -f result.log && rm -f result.log function delay { sleep 3 } tmp_fifofile=/tmp/$$.fifo mkfifo $tmp_fifofile exec 6<>$tmp_fifofile rm $tmp_fifofile #定义并发线程数,需根据vps配置进行调整。 thread=100 for ((i=0 ;i<$thread;i++ )) do echo done>&6 #开始多线程循环检测 for url in $data do read -u6 { #curl抓取网站http状态码 code=`curl -o /dev/null --retry 3 --retry-max-time 8 -s -w %{http_code} $url` echo "$code ---> $url">>result.log #判断子线程是否执行成功,并输出结果 delay && { echo "$code ---> $url" } || { echo "Check thread error!" } echo >& 6 }& done #等待所有线程执行完毕 wait exec 6>&- #找出非200返回码的站点 echo List of exception website: cat result.log | grep -v 200 exit 0 Ps:关于shell多线程脚本,后续文章会有一个详细说明,本文篇幅有限,就不多说了。 ②、脚本抓取的无法访问站点: 人工访问筛选结果:
|
请发表评论