您当前的位置:首页 > 电脑百科 > 程序开发 > 算法

使用时间轮实现“延时任务”

时间:2020-08-10 11:52:25  来源:  作者:

延时任务,顾名思义:过一段时间后才执行的任务。例如用户开启计划后 24 小时发一条推送,提醒用户坚持练习;电商业务中,成单后72 小时未评价,自动打5分等场景。那么这些 延时任务怎么优雅的实现呢?

首先我们想到的是 crontab: 启动一个crontab定时任务,每小时跑一次,给开启计划超过24小于25小时的用户发送push。

$userList = select uid from program_schedule where create_time >= now_time - 25 * 3600 and create_time < now_time - 24 * 3600;
foreach ($userList as $uid)  {
      (new Service_Push())->sendPush($uid, '练习提醒', '亲,今天记得练习,不要偷懒哦 ^^');
}

优点:

简单、快速实现

缺点:1、数据量大的时候,效率比较低。

2、每次需要全量查询一次,可能会重复计算

3、时效性不够,因为是一个小时一次,极端情况,这个用户就是当前小时的第一秒开启的,那就要延迟一个小时收到推送。当然可以通过修改 crontab 的轮询频次(改成一分钟或者1秒钟),这样放大了 1、2 步的缺点。

所以这类业务一定要保证时效性,可以采用时间轮实现:

不太会用画图工具,只能采用农耕文明的手段了,哈哈,凑合看。

使用时间轮实现“延时任务”

 

包括两个数据结构:1、环形队列:一个小时对应 3600秒,一秒一个槽,避免转的过快和过慢

2、任务队列: 环上每个槽都是一个 队列

当前指针就是 当前时间戳 % 3600, 每个槽都是一个队列,队列的每个cell包含两个数据结构:1. cycle_num: 循环次数,表示第几圈,比如 48 小时后执行,那 cycle_num = 47 (下标从 0 开始)

2. data: 自定义参数,包含任务名称(task_function_name)和参数列表(params)

比如现在游标在1, 现在有个业务是7219s后执行,首先找游标,(7219 + 1) % 3600 = 20, 那就是插入下标 = 20 的槽 对应的队列, cycle_num : floor((7219 + 1) / 3600) = 2

数据插入后,启用 crontab 或者 go cron 实现 一个 timer,轮询频率是 一秒一次, 每次取当前秒对应的时间槽,这是一个队列,从队列中取 cycle_num =0 的 cell, 解析数据后, 直接扔给 对应的 task 执行,timer 不涉及具体的业务逻辑,然后 修改 其他的 cell, cycle_num -= 1, 表示转了一圈了, 依次循环执行下去。

demo: 使用redis 队列作为存储

//产生时间轮:
private function createTimerData() {
    //一天 24 个小时    
    for ($i = 0; $i < 23; $i++) {
        //一个小时按秒算        
        for ($j = 0; $j < 3600; $j++) {
            $key = 'task_' . $j;
            $data = [
                'method' => 'send_msg',
                'params' => [
                    'uid' => $i .'--'.$j,
                    'msg' => 'No:' . $i .'--'.$j
                ],
                'cycle_num' => $i
            ];
            Util::redisRPush($key, json_encode($data));
        }
    }
}
 
//timer:
private function executeTask() {
    for ($i = 0; $i < 3600; $i++) {
        $key = 'task_' . $i;
        $len =  Util::redisLLen($key);
        for ($j = 0; $j < $len; $j++) {
            $data = Util::redisLIndex($key, $j);
            $data = json_decode($data, true);
            if ($data['cycle_num'] == 0) {
                //调用 svr-task 处理具体业务
                //从列表中删除此下标数据                
                Util::redisLSet($key, $j, 'delete');
            } else {
                --$data['cycle_num'];
                Util::redisLSet($key, $j, json_encode($data));
            }
        }
        
        Util::redisLRem($key, 0, 'delete');
    }
}

这里使用了 redis 实现,为了保证数据一致性,可以落盘到数据库, redis 重启后,从数据库 loading 到 redis 。

ps: 还有个小惊喜, redis 队列不支持 按照对应下标删除,用了两个命令实现

1. 将队列中待删除的下标的值 标记为 特殊字符串

$redis->lSet($key, $index, 'delete');

2. 删除此字符串对应的下标

$redis->lRem($key, 0, 'delete');
lrem(key, count, value)
根据参数 count 的值,移除列表中与参数 value 相等的元素。

count 的值可以是以下几种:

count > 0 : 从表头开始向表尾搜索,移除与 value 相等的元素,数量为 count 。

count < 0 : 从表尾开始向表头搜索,移除与 value 相等的元素,数量为 count 的绝对值。

count = 0 : 移除表中所有与 value 相等的值。



Tags:时间轮   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
前言Kafka 中有很多延时操作,比如对于耗时的网络请求(比如 Produce 是等待 ISR 副本复制成功)会被封装成 DelayOperation 进行延迟处理操作,防止阻塞 Kafka请求处理线程。Kafka...【详细内容】
2021-12-27  Tags: 时间轮  点击:(1)  评论:(0)  加入收藏
从定时任务说起自然界中定时任务无处不在,太阳每天东升西落,候鸟的迁徙,树木的年轮,人们每天按时上班,每个月按时发工资、交房租,四季轮换,潮涨潮落,等等,从某种意义上说,都可以认为是...【详细内容】
2021-04-22  Tags: 时间轮  点击:(361)  评论:(0)  加入收藏
延时任务,顾名思义:过一段时间后才执行的任务。例如用户开启计划后 24 小时发一条推送,提醒用户坚持练习;电商业务中,成单后72 小时未评价,自动打5分等场景。那么这些 延时任务怎...【详细内容】
2020-08-10  Tags: 时间轮  点击:(177)  评论:(0)  加入收藏
最近看 Kafka 看到了时间轮算法,记得以前看 Netty 也看到过这玩意,没太过关注。今天就来看看时间轮到底是什么东西。为什么要用时间轮算法来实现延迟操作?延时操作 Java 不是...【详细内容】
2020-08-07  Tags: 时间轮  点击:(62)  评论:(0)  加入收藏
大家好,我是yes。最近看 Kafka 看到了时间轮算法,记得以前看 Netty 也看到过这玩意,没太过关注。今天就来看看时间轮到底是什么东西。为什么要用时间轮算法来实现延迟操作?延时...【详细内容】
2020-08-04  Tags: 时间轮  点击:(59)  评论:(0)  加入收藏
大家好,我是yes。最近看 Kafka 看到了时间轮算法,记得以前看 Netty 也看到过这玩意,没太过关注。今天就来看看时间轮到底是什么东西。为什么要用时间轮算法来实现延迟操作?延时...【详细内容】
2020-08-04  Tags: 时间轮  点击:(61)  评论:(0)  加入收藏
前言我在 2. SOFAJRaft源码分析&mdash;JRaft的定时任务调度器是怎么做的? 这篇文章里已经讲解过时间轮算法在JRaft中是怎么应用的,但是我感觉我并没有讲解清楚这个东西,导致看...【详细内容】
2020-03-01  Tags: 时间轮  点击:(66)  评论:(0)  加入收藏
▌简易百科推荐
前言Kafka 中有很多延时操作,比如对于耗时的网络请求(比如 Produce 是等待 ISR 副本复制成功)会被封装成 DelayOperation 进行延迟处理操作,防止阻塞 Kafka请求处理线程。Kafka...【详细内容】
2021-12-27  Java技术那些事    Tags:时间轮   点击:(1)  评论:(0)  加入收藏
博雯 发自 凹非寺量子位 报道 | 公众号 QbitAI在炼丹过程中,为了减少训练所需资源,MLer有时会将大型复杂的大模型“蒸馏”为较小的模型,同时还要保证与压缩前相当的结果。这就...【详细内容】
2021-12-24  量子位    Tags:蒸馏法   点击:(9)  评论:(0)  加入收藏
分稀疏重建和稠密重建两类:稀疏重建:使用RGB相机SLAMOrb-slam,Orb-slam2,orb-slam3:工程地址在: http://webdiis.unizar.es/~raulmur/orbslam/ DSO(Direct Sparse Odometry)因为...【详细内容】
2021-12-23  老师明明可以靠颜值    Tags:算法   点击:(7)  评论:(0)  加入收藏
1. 基本概念希尔排序又叫递减增量排序算法,它是在直接插入排序算法的基础上进行改进而来的,综合来说它的效率肯定是要高于直接插入排序算法的;希尔排序是一种不稳定的排序算法...【详细内容】
2021-12-22  青石野草    Tags:希尔排序   点击:(6)  评论:(0)  加入收藏
ROP是一种技巧,我们对execve函数进行拼凑来进行system /bin/sh。栈迁移的特征是溢出0x10个字符,在本次getshell中,还碰到了如何利用printf函数来进行canary的泄露。ROP+栈迁移...【详细内容】
2021-12-15  星云博创    Tags:栈迁移   点击:(19)  评论:(0)  加入收藏
一、什么是冒泡排序1.1、文字描述冒泡排序是一种简单的排序算法。它重复地走访要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地...【详细内容】
2021-12-15    晓掌柜丶韶华  Tags:排序算法   点击:(16)  评论:(0)  加入收藏
在了解golang的map之前,我们需要了解哈希这个概念。哈希表,又称散列表(Hash table),是根据键(key)而直接访问在内存储存位置的数据结构。也就是说,它通过计算出一个键值的函数,将...【详细内容】
2021-12-07  一棵梧桐木    Tags:哈希表   点击:(13)  评论:(0)  加入收藏
前面文章在谈论分布式唯一ID生成的时候,有提到雪花算法,这一次,我们详细点讲解,只讲它。SnowFlake算法据国家大气研究中心的查尔斯&middot;奈特称,一般的雪花大约由10^19个水分子...【详细内容】
2021-11-17  小心程序猿QAQ    Tags:雪花算法   点击:(24)  评论:(0)  加入收藏
导读:在大数据时代,对复杂数据结构中的各数据项进行有效的排序和查找的能力非常重要,因为很多现代算法都需要用到它。在为数据恰当选择排序和查找策略时,需要根据数据的规模和类型进行判断。尽管不同策略最终得到的结果完...【详细内容】
2021-11-04  华章科技    Tags:排序算法   点击:(37)  评论:(0)  加入收藏
这是我在网上找的资源的一个总结,会先给出一个我看了觉得还行的关于算法的讲解,再配上实现的代码: Original author: Bill_Hoo Original Address: http://blog.sina.com.cn/s/bl...【详细内容】
2021-11-04  有AI野心的电工和码农    Tags: KMP算法   点击:(36)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条