使用Golang简单实现七牛图片处理API

之前一直在用qiniu的存储服务，生成图片的缩略图，模糊图，视频的webp，现在需要把存储移到s3上，那么这些图片，视频处理就要自己动手写了，本文梳理一下大致的思路。

分析需求

先看一下qiniu的接口是如何处理图片的，例如先截取视频第一秒的图片，再把图片缩略，最后存储到一个新的key，命令可以这么写 vframe/jpg/offset/1|imageMogr2/thumbnail/400x|saveas/xxx, 可以看到三个操作之间用 | 符号分割，类似unix 的 pipe 操作。

上面的操作算作一个cmd, 一次API请求可以同时处理多个cmd，cmd之间用分号分割, 处理完毕后，在回调中把处理结果返回，例如

{
    "id": "xxxxx",
    "pipeline": "xxx",
    "code": 0,
    "desc": "The fop was completed successfully",
    "reqid": "xTsAAFnxUbR5J10U",
    "inputBucket": "xxx",
    "inputKey": "xxxxx",
    "items": [
        {
            "cmd": "vframe/jpg/offset/1|imageMogr2/thumbnail/400x|saveas/ZmFtZS1wcml2YXRlOm1vbWVudC9jb3Zlci9zbmFwL3ZpZGVvL2M5YzdjZjQ5LTU3NGQtNGZjMS1iZDFkLTRkYjZkMzlkZWY1Ni8wLzA=",
            "code": 0,
            "desc": "The fop was completed successfully",
            "hash": "FhdN6V8EI4vW4XJGALSfxutvMEIv",
            "key": "xx",
            "returnOld": 0
        },
        {
            "cmd": "vframe/jpg/offset/1|imageMogr2/thumbnail/400x|imageMogr2/blur/45x8|saveas/ZmFtZS1wcml2YXRlOm1vbWVudC9jb3Zlci9zbmFwL3ZpZGVvL2M5YzdjZjQ5LTU3NGQtNGZjMS1iZDFkLTRkYjZkMzlkZWY1Ni8wLzBfYmx1cg==",
            "code": 0,
            "desc": "The fop was completed successfully",
            "hash": "FgNiRzrCsa7TZx1xVSb_4d5TiaK3",
            "key": "xxx",
            "returnOld": 0
        }
    ]
}

分解需求

这个程序大致需要这么几个部分:

一个http接口，接受任务，接受后把任务扔到队列，返回一个job ID。 worker异步处理任务，worker的个数 和 每个worker 并行的处理的个数 能够配置，worker有重试机制。