使用Docker Swarm搭建分布式爬虫集群的方法示例

2020-06-17 06:43:13易采站长站整理


docker service scale spider=0
docker service update --image 45.77.138.242:8003/spider:0.02 spider
docker service scale spider=3

第二种是直接执行更新命令。


docker service update --image 45.77.138.242:8003/spider:0.02 spider

他们的区别在于,直接执行更新命令时,正在运行的容器会一个一个更新。

运行效果如下图所示。

你可以用Docker Swarm做更多事情

本文使用的是一个模拟爬虫的例子,但是显然,任何可以批量运行的程序都能够用Docker Swarm来运行,无论你用Redis还是Celery来通信,无论你是否需要通信,只要能批量运行,就能用Docker Swarm。

在同一个Swarm集群里面,可以运行多个不同的服务,各个服务之间互不影响。真正做到了搭建一次Docker Swarm集群,然后就再也不用管了,以后的所有操作你都只需要在Manager节点所在的这个服务器上面运行。

您可能感兴趣的文章:Centos7.3 RabbitMQ分布式集群搭建示例PHP实现分布式memcache设置web集群session同步的方法Linux下Kafka分布式集群安装教程Linux下ZooKeeper分布式集群安装教程Linux集群/分布式环境下session处理的五种策略详解详解CentOS 6.5搭建Redis3.2.8单机分布式集群详解使用docker搭建hadoop分布式集群java 分布式与集群的区别和联系Hadoop单机版和全分布式(集群)安装爬虫技术之分布式爬虫架构的讲解分布式和集群的概述讲解