分布式环境下的定时任务（几种主流的分布式定时任务）

自从JDK1.5之后，提供了ScheduledExecutorService代替TimerTask来执行定时任务，提供了不错的可靠性。

publicclassSomeScheduledExecutorService{ publicstaticvoidmain(String[]args){ //创建任务队列，共10个线程 ScheduledExecutorServicescheduledExecutorService= Executors.newScheduledThreadPool(10); //执行任务:1秒后开始执行，每30秒执行一次 scheduledExecutorService.scheduleAtFixedRate(()->{ System.out.println("执行任务：" newDate()); },10,30,TimeUnit.SECONDS); } } 复制代码

Spring Framework自带定时任务，提供了cron表达式来实现丰富定时任务配置。新手推荐使用https://cron.qqe2.com/这个网站来匹配你的cron表达式。

@Configuration @EnableScheduling publicclassSomeJob{ privatestaticfinalLoggerLOGGER=LoggerFactory.getLogger(SomeJob.class); /** *每分钟执行一次（例：18:01:00，18:02:00） *秒分钟小时日月星期年 */ @Scheduled(cron="00/1***?*") publicvoidsomeTask(){ //... } } 复制代码

单点的定时服务在目前微服务的大环境下，应用场景越来越局限，所以尝鲜一下分布式定时任务吧。

关于该功能的使用，DD的Spring Boot教程中也有介绍，感兴趣的小伙伴可以通过这个链接查看：https://blog.didispace.com/spring-boot-learning-2-7-1/

相较于之前两种方式，这种基于Redis的实现可以通过多点来增加定时任务，多点消费。但是要做好防范重复消费的准备。

将定时任务存放到ZSet集合中，并且将过期时间存储到ZSet的Score字段中，然后通过一个循环来判断当前时间内是否有需要执行的定时任务，如果有则进行执行。

具体实现代码如下：

/** *Description:基于Redis的ZSet的定时任务.<br> * *@authormxy *@Date2020/8/2511:54 */ @Configuration @EnableScheduling publicclassRedisJob{ publicstaticfinalStringJOB_KEY="redis.job.task"; privatestaticfinalLoggerLOGGER=LoggerFactory.getLogger(RedisJob.class); @AutowiredprivateStringRedisTemplatestringRedisTemplate; /** *添加任务. * *@paramtask */ publicvoidaddTask(Stringtask,Instantinstant){ stringRedisTemplate.opsForZSet().add(JOB_KEY,task,instant.getEpochSecond()); } /** *定时任务队列消费 *每分钟消费一次（可以缩短间隔到1s） */ @Scheduled(cron="00/1***?*") publicvoiddoDelayQueue(){ longnowSecond=Instant.now().getEpochSecond(); //查询当前时间的所有任务 Set<String>strings=stringRedisTemplate.opsForZSet().range(JOB_KEY,0,nowSecond); for(Stringtask:strings){ //开始消费task LOGGER.info("执行任务:{}",task); } //删除已经执行的任务 stringRedisTemplate.opsForZSet().remove(JOB_KEY,0,nowSecond); } } 复制代码

适用场景如下：

• 订单下单之后15分钟后，用户如果没有付钱，系统需要自动取消订单。
• 红包24小时未被查收，需要延迟执退还业务；
• 某个活动指定在某个时间内生效&失效；

优势是：

1. 省去了MySQL的查询操作，而使用性能更高的Redis做为代替；
2. 不会因为停机等原因，遗漏要执行的任务；

我们可以通过Redis的键空间通知来实现定时任务，它的实现思路是给所有的定时任务设置一个过期时间，等到了过期之后，我们通过订阅过期消息就能感知到定时任务需要被执行了，此时我们执行定时任务即可。

默认情况下Redis是不开启键空间通知的，需要我们通过config set notify-keyspace-events Ex的命令手动开启。

开启之后定时任务的代码如下:

/** *自定义监听器. */ publicclassKeyExpiredListenerextendsKeyExpirationEventMessageListener{ publicKeyExpiredListener(RedisMessageListenerContainerlistenerContainer){ super(listenerContainer); } @Override publicvoidonMessage(Messagemessage,byte[]pattern){ //channel Stringchannel=newString(message.getChannel(),StandardCharsets.UTF_8); //过期的key Stringkey=newString(message.getBody(),StandardCharsets.UTF_8); //todo你的处理 } } 复制代码

/** *Description:通过订阅Redis的过期通知来实现定时任务.<br> * *@authormxy *@Date2020/8/2512:07 */ @Configuration publicclassRedisExJob{ @AutowiredprivateRedisConnectionFactoryredisConnectionFactory; @Bean publicRedisMessageListenerContainerredisMessageListenerContainer(){ RedisMessageListenerContainerredisMessageListenerContainer=newRedisMessageListenerContainer(); redisMessageListenerContainer.setConnectionFactory(redisConnectionFactory); returnredisMessageListenerContainer; } @Bean publicKeyExpiredListenerkeyExpiredListener(){ returnnewKeyExpiredListener(this.redisMessageListenerContainer()); } } 复制代码

Spring会监听符合以下格式的Redis消息

privatestaticfinalTopicTOPIC_ALL_KEYEVENTS=newPatternTopic("__keyevent@*"); 复制代码

基于Redis的定时任务能够适用的场景也比较有限，但实现上相对简单，但对于功能幂等有很大要求。从使用场景上来说，更应该叫做延时任务。

场景举例:

• 订单下单之后15分钟后，用户如果没有付钱，系统需要自动取消订单。
• 红包24小时未被查收，需要延迟执退还业务；

优劣势是：

1. 被动触发，对于服务的资源消耗更小；
2. Redis的Pub/Sub不可靠，没有ACK机制等，但是一般情况可以容忍；
3. 键空间通知功能会耗费一些CPU

将定时任务作为单独的服务，遏制了重复消费，独立的服务也有利于扩展和维护。

依赖于MySQL，使用相对简单，可多节点部署，通过竞争数据库锁来保证只有一个节点执行任务。没有图形化管理页面，使用相对麻烦。

依赖于Zookeeper，通过zookeeper的注册与发现，可以动态的添加服务器。

• 多种作业模式
• 失效转移
• 运行状态收集
• 多线程处理数据
• 幂等性
• 容错处理
• 支持spring命名空间
• 有图形化管理页面

关于该框架的实用，DD在博客也连载过，通过这个链接可以直接看详细教程：https://blog.didispace.com/tags/Elastic-Job/

依赖于Zookeeper，集群部署,可以动态的添加服务器。可以手动增加定时任务，启动和暂停任务。

• 业务日志记录器
• SPI扩展支持
• 故障转移
• 节点监控
• 多样化任务执行结果支持
• FailStore容错
• 动态扩容
• 对spring相对友好
• 有监控和管理图形化界面

国产，依赖于MySQL,基于竞争数据库锁保证只有一个节点执行任务，支持水平扩容。可以手动增加定时任务，启动和暂停任务。

• 弹性扩容
• 分片广播
• 故障转移
• Rolling实时日志
• GLUE（支持在线编辑代码，免发布）
• 任务进度监控
• 任务依赖
• 数据加密
• 邮件报警
• 运行报表
• 优雅停机
• 国际化（中文友好）

微服务下，推荐使用xxl-job这一类组件服务将定时任务合理有效的管理起来。而单点的定时任务有其局限性，适用于规模较小、对未来扩展要求不高的服务。

相对而言，基于spring task的定时任务最简单快捷，而xxl-job的难度主要体现在集成和调试上。无论是什么样的定时任务，你都需要确保：

• 任务不会因为集群部署而被多次执行。
• 任务发生异常得到有效的处理
• 任务的处理过慢导致大量积压
• 任务应该在预期的时间点执行

中间件可以将服务解耦，但增加了复杂度

作者：襄垣