-
客服电话
-
APP下载
迪恩网络APP
随时随地掌握行业动态
-
官方微信
扫描二维码
关注迪恩网络微信公众号
客服电话
APP下载
迪恩网络APP
随时随地掌握行业动态
官方微信
扫描二维码
关注迪恩网络微信公众号
开源软件名称：car_forum开源软件地址：https://gitee.com/albert_chen/car_forum开源软件介绍：##car_forum本爬虫爬去 易车网的信息。 数据库使用, 请查看https://github.com/scalingexcellence/scrapybook/tree/master/ch09/properties 配置数据库 在setting.py 中, 找到 MYSQL_PIPELINE_URL 参数填入自己的数据库 MYSQL_PIPELINE_URL='mysql://root:[email protected]:3306/cars'###创建表格 CREATE TABLE `bitauto` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `url` varchar(255) DEFAULT NULL, `datetime` datetime DEFAULT NULL, `brand` varchar(255) DEFAULT NULL, `car_type` varchar(255) DEFAULT NULL, `type` varchar(255) DEFAULT NULL, `sub_type` varchar(255) DEFAULT NULL, `title` varchar(255) DEFAULT NULL, `question` text, `question_img` varchar(20) DEFAULT NULL, `replay` text, `replay_img` varchar(20) DEFAULT NULL, `replay_to` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`), KEY `url` (`url`)) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;##运行爬虫 安装必要的工具本爬虫是基于scrapy 框架进行书写使用mysql 进行数据存储, 所以需要安装scrapy 和 mysql-connector-python $ pip install scrapy$ pip install mysql-connector-python如何使用切换当前路径进入car_forum ,然后运行下面这个命令产生 csv $ scrapy crawl bitauto -o out.csv生成mqsql $ scrapy crawl bitauto -o  |
请发表评论