这个就是一篇介绍爬虫框架的文章，开头就不说什么剧情了。什么最近一个项目了，什么分享新知了，剧情是挺好，但介绍的很初级，根本就没有办法应用，不支持队列的爬虫，都是耍流氓。 所以我就先来举一个例子，看一下这个爬虫框架是多么简单并可用。
第一步：安装 Crawl-pet
nodejs 就不用多介绍吧，用 npm 安装 crawl-pet
$ npm install crawl-pet -g --production运行，程序会引导你完成配置，首次运行，会在项目目录下生成 info.json 文件
$ crawl-pet> Set project dir: ./test-crawl-pet
> Create crawl-pet in ./test-crawl-pet [y/n]: y
> Set target url: http://foodshot.co/
> Set save rule [url/simple/group]: url
> Set file type limit:
> The limit: not limit
> Set parser rule module:
> The module: use default crawl-pet.parser
这里使用的测试网站 http://foodshot.co/ 是一个自由版权的，分享美食图片的网站，网站里的图片质量非常棒，这里用它只是为测试学习用，大家可以换其它网站测试
如果使用默认解析器的话，已经可以运行，看看效果:
$ crawl-pet -o ./test-crawl-pet
试试看
这是下载后的目录结构
本地目录结构
第二步：写自己的解析器
现在我们来看一看如何写自己的解析器，有三种方法来生成我们自己的解析器
在新建项目时, 在 Set parser rule module 输入自己的解释器路径。修改 info.json 下的 parser 项这个最简单，直接在项目录下新建一个 parser.js 文件
使用 crawl-pet， 新建一个解析器模板
$ crawl-pet --create-parser ./test-crawl-pet/parser.js打开 ./test-crawl-pet/parser.js 文件
// crawl-pet 支持使用 cheerio，来进行页面分析，如果你有这个需要
const cheerio = require("cheerio")/*
* header 函数是在请求发送前调用，可以配置请求的头信息，如果返回 false，则中断请求
*
* 参数：
* options: 详细设置请看 https://github.com/request/request
* crawler_handle: 与队列通信的对象，详情见下
*
* header 函数是可选的，可不写
*/
exports.header = function(options, crawler_handle) {
}
/*
* body 函数是在请求返回后调用，用来解析返回结果
*
* 参数:
* url: 请求的 url
* body: 请求返回结果, string 类型
* response: 请求的响应，详情请看： https://github.com/request/request
