开源软件名称：

开源软件地址：

开源软件介绍：

17K小说网定向爬虫

免责声明：

本项目旨在学习Scrapy爬虫框架和使用Mssqlserver数据库，不可使用于商业和个人其他意图。若使用不当，均由个人承担。

项目简介：

借助目前超火的爬虫框架scrapy,使用mssqlserver做持久化从分类（三级分类）到书目到章节内容的全解析，完全可以依照抓取的数据来做一个自己的小说网

环境、架构

相关介绍

项目目录

爬取对象

• 主站domain
• 分类domain
• 章节domain

采用技术

采用技术：mssql,scrapy

使用步骤

1.根据项目文件下/src/db.sql sql脚本，建立相关数据库表,2.进入主项目目录，开启命令行 键入

• scrapy crawl category(一级和二级分类)
• scrapy crawl category_third（三级分类）
• scrapy crawl book（书目）
• scrapy crawl chapter（章节内容）