您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > JAVA

Java 线程池 ThreadPoolExecutor 八种拒绝策略浅析

时间:2019-08-29 13:39:48  来源:  作者:

前言

谈到 JAVA 的线程池最熟悉的莫过于 ExecutorService 接口了,jdk1.5 新增的 java.util.concurrent 包下的这个 api,大大的简化了多线程代码的开发。而不论你用 FixedThreadPool 还是 CachedThreadPool 其背后实现都是ThreadPoolExecutor。ThreadPoolExecutor 是一个典型的缓存池化设计的产物,因为池子有大小,当池子体积不够承载时,就涉及到拒绝策略。JDK 中已经预设了 4 种线程池拒绝策略,下面结合场景详细聊聊这些策略的使用场景,以及我们还能扩展哪些拒绝策略。

 

池化设计思想

池话设计应该不是一个新名词。我们常见的如 Java 线程池、JDBC 连接池、redis 连接池等就是这类设计的代表实现。这种设计会初始预设资源,解决的问题就是抵消每次获取资源的消耗,如创建线程的开销,获取远程连接的开销等。就好比你去食堂打饭,打饭的大妈会先把饭盛好几份放那里,你来了就直接拿着饭盒加菜即可,不用再临时又盛饭又打菜,效率就高了。除了初始化资源,池化设计还包括如下这些特征:池子的初始值、池子的活跃值、池子的最大值等,这些特征可以直接映射到 Java 线程池和数据库连接池的成员属性中。

 

线程池触发拒绝策略的时机

和数据源连接池不一样,线程池除了初始大小和池子最大值,还多了一个阻塞队列来缓冲。数据源连接池一般请求的连接数超过连接池的最大值的时候就会触发拒绝策略,策略一般是阻塞等待设置的时间或者直接抛异常。而线程池的触发时机如下图:

Java 线程池 ThreadPoolExecutor 八种拒绝策略浅析

如图,想要了解线程池什么时候触发拒绝粗略,需要明确上面三个参数的具体含义,是这三个参数总体协调的结果,而不是简单的超过最大线程数就会触发线程拒绝粗略,当提交的任务数大于 corePoolSize 时,会优先放到队列缓冲区,只有填满了缓冲区后,才会判断当前运行的任务是否大于 maxPoolSize,小于时会新建线程处理。大于时就触发了拒绝策略,总结就是:当前提交任务数大于(maxPoolSize + queueCapacity)时就会触发线程池的拒绝策略了。

 

JDK内置4种线程池拒绝策略

拒绝策略接口定义

在分析 JDK 自带的线程池拒绝策略前,先看下 JDK 定义的 拒绝策略接口,如下:

1public interface RejectedExecutionHandler {
2 void rejectedExecution(Runnable r, ThreadPoolExecutor executor);
3}

接口定义很明确,当触发拒绝策略时,线程池会调用你设置的具体的策略,将当前提交的任务以及线程池实例本身传递给你处理,具体作何处理,不同场景会有不同的考虑,下面看 JDK 为我们内置了哪些实现:

 

CallerRunsPolicy(调用者运行策略)

 1 public static class CallerRunsPolicy implements RejectedExecutionHandler {
2
3 public CallerRunsPolicy { }
4
5 public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
6 if (!e.isShutdown) {
7 r.run;
8 }
9 }
10 }

功能:当触发拒绝策略时,只要线程池没有关闭,就由提交任务的当前线程处理。

使用场景:一般在不允许失败的、对性能要求不高、并发量较小的场景下使用,因为线程池一般情况下不会关闭,也就是提交的任务一定会被运行,但是由于是调用者线程自己执行的,当多次提交任务时,就会阻塞后续任务执行,性能和效率自然就慢了。

 

AbortPolicy(中止策略)

 1 public static class AbortPolicy implements RejectedExecutionHandler {
2
3 public AbortPolicy { }
4
5 public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
6 throw new RejectedExecutionException("Task " + r.toString +
7 " rejected from " +
8 e.toString);
9 }
10 }

功能:当触发拒绝策略时,直接抛出拒绝执行的异常,中止策略的意思也就是打断当前执行流程

使用场景:这个就没有特殊的场景了,但是一点要正确处理抛出的异常。ThreadPoolExecutor 中默认的策略就是AbortPolicy,ExecutorService 接口的系列 ThreadPoolExecutor 因为都没有显示的设置拒绝策略,所以默认的都是这个。但是请注意,ExecutorService 中的线程池实例队列都是无界的,也就是说把内存撑爆了都不会触发拒绝策略。当自己自定义线程池实例时,使用这个策略一定要处理好触发策略时抛的异常,因为他会打断当前的执行流程。

 

DiscardPolicy(丢弃策略)

1 public static class DiscardPolicy implements RejectedExecutionHandler {
2
3 public DiscardPolicy { }
4
5 public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
6 }
7 }

功能:直接静悄悄的丢弃这个任务,不触发任何动作

使用场景:如果你提交的任务无关紧要,你就可以使用它 。因为它就是个空实现,会悄无声息的吞噬你的的任务。所以这个策略基本上不用了

 

DiscardOldestPolicy(弃老策略)

 1 public static class DiscardOldestPolicy implements RejectedExecutionHandler {
2
3 public DiscardOldestPolicy { }
4
5 public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
6 if (!e.isShutdown) {
7 e.getQueue.poll;
8 e.execute(r);
9 }
10 }
11 }

功能:如果线程池未关闭,就弹出队列头部的元素,然后尝试执行

使用场景:这个策略还是会丢弃任务,丢弃时也是毫无声息,但是特点是丢弃的是老的未执行的任务,而且是待执行优先级较高的任务。基于这个特性,我能想到的场景就是,发布消息,和修改消息,当消息发布出去后,还未执行,此时更新的消息又来了,这个时候未执行的消息的版本比现在提交的消息版本要低就可以被丢弃了。因为队列中还有可能存在消息版本更低的消息会排队执行,所以在真正处理消息的时候一定要做好消息的版本比较

 

第三方实现的拒绝策略

Dubbo 中的线程拒绝策略

 1public class AbortPolicyWithReport extends ThreadPoolExecutor.AbortPolicy {
2
3 protected static final Logger logger = LoggerFactory.getLogger(AbortPolicyWithReport.class);
4
5 private final String threadName;
6
7 private final URL url;
8
9 private static volatile long lastPrintTime = 0;
10
11 private static Semaphore guard = new Semaphore(1);
12
13 public AbortPolicyWithReport(String threadName, URL url) {
14 this.threadName = threadName;
15 this.url = url;
16 }
17
18 @Override
19 public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
20 String msg = String.format("Thread pool is EXHAUSTED!" +
21 " Thread Name: %s, Pool Size: %d (active: %d, core: %d, max: %d, largest: %d), Task: %d (completed: %d)," +
22 " Executor status:(isShutdown:%s, isTerminated:%s, isTerminating:%s), in %s://%s:%d!",
23 threadName, e.getPoolSize, e.getActiveCount, e.getCorePoolSize, e.getMaximumPoolSize, e.getLargestPoolSize,
24 e.getTaskCount, e.getCompletedTaskCount, e.isShutdown, e.isTerminated, e.isTerminating,
25 url.getProtocol, url.getIp, url.getPort);
26 logger.warn(msg);
27 dumpJStack;
28 throw new RejectedExecutionException(msg);
29 }
30
31 private void dumpJStack {
32 //省略实现
33 }
34}

可以看到,当dubbo的工作线程触发了线程拒绝后,主要做了三个事情,原则就是尽量让使用者清楚触发线程拒绝策略的真实原因

  • 输出了一条警告级别的日志,日志内容为线程池的详细设置参数,以及线程池当前的状态,还有当前拒绝任务的一些详细信息。可以说,这条日志,使用dubbo的有过生产运维经验的或多或少是见过的,这个日志简直就是日志打印的典范,其他的日志打印的典范还有spring。得益于这么详细的日志,可以很容易定位到问题所在

  • 输出当前线程堆栈详情,这个太有用了,当你通过上面的日志信息还不能定位问题时,案发现场的dump线程上下文信息就是你发现问题的救命稻草,这个可以参考《dubbo线程池耗尽事件-"CyclicBarrier惹的祸"》

  • 继续抛出拒绝执行异常,使本次任务失败,这个继承了JDK默认拒绝策略的特性

 

Netty 中的线程池拒绝策略

 1 private static final class NewThreadRunsPolicy implements RejectedExecutionHandler {
2 NewThreadRunsPolicy {
3 super;
4 }
5
6 public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
7 try {
8 final Thread t = new Thread(r, "Temporary task executor");
9 t.start;
10 } catch (Throwable e) {
11 throw new RejectedExecutionException(
12 "Failed to start a new thread", e);
13 }
14 }
15 }

Netty 中的实现很像 JDK 中的 CallerRunsPolicy,舍不得丢弃任务。不同的是,CallerRunsPolicy 是直接在调用者线程执行的任务。而 Netty是新建了一个线程来处理的。所以,Netty的实现相较于调用者执行策略的使用面就可以扩展到支持高效率高性能的场景了。但是也要注意一点,Netty的实现里,在创建线程时未做任何的判断约束,也就是说只要系统还有资源就会创建新的线程来处理,直到new不出新的线程了,才会抛创建线程失败的异常

 

ActiveMQ 中的线程池拒绝策略

 1 new RejectedExecutionHandler {
2 @Override
3 public void rejectedExecution(final Runnable r, final ThreadPoolExecutor executor) {
4 try {
5 executor.getQueue.offer(r, 60, TimeUnit.SECONDS);
6 } catch (InterruptedException e) {
7 throw new RejectedExecutionException("Interrupted waiting for BrokerService.worker");
8 }
9
10 throw new RejectedExecutionException("Timed Out while attempting to enqueue Task.");
11 }
12 });

activeMq中的策略属于最大努力执行任务型,当触发拒绝策略时,在尝试一分钟的时间重新将任务塞进任务队列,当一分钟超时还没成功时,就抛出异常

 

PinPoint 中的线程池拒绝策略

 1public class RejectedExecutionHandlerChain implements RejectedExecutionHandler {
2 private final RejectedExecutionHandler handlerChain;
3
4 public static RejectedExecutionHandler build(List<RejectedExecutionHandler> chain) {
5 Objects.requireNon(chain, "handlerChain must not be ");
6 RejectedExecutionHandler handlerChain = chain.toArray(new RejectedExecutionHandler[0]);
7 return new RejectedExecutionHandlerChain(handlerChain);
8 }
9
10 private RejectedExecutionHandlerChain(RejectedExecutionHandler[] handlerChain) {
11 this.handlerChain = Objects.requireNon(handlerChain, "handlerChain must not be ");
12 }
13
14 @Override
15 public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
16 for (RejectedExecutionHandler rejectedExecutionHandler : handlerChain) {
17 rejectedExecutionHandler.rejectedExecution(r, executor);
18 }
19 }
20}

pinpoint的拒绝策略实现很有特点,和其他的实现都不同。他定义了一个拒绝策略链,包装了一个拒绝策略列表,当触发拒绝策略时,会将策略链中的rejectedExecution依次执行一遍

 

结语

前文从线程池设计思想,以及线程池触发拒绝策略的时机引出java线程池拒绝策略接口的定义。并辅以JDK内置4种以及四个第三方开源软件的拒绝策略定义描述了线程池拒绝策略实现的各种思路和使用场景。希望阅读此文后能让你对java线程池拒绝策略有更加深刻的认识,能够根据不同的使用场景更加灵活的应用。

作者:KL

链接:http://www.kailing.pub/article/index/arcid/255.html



Tags:Java 线程池   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
之前我们介绍了线程池的四种拒绝策略,了解了线程池参数的含义,那么今天我们来聊聊Java 中常见的几种线程池,以及在jdk7 加入的 ForkJoin 新型线程池 首先我们列出Java 中的...【详细内容】
2020-11-05  Tags: Java 线程池  点击:(91)  评论:(0)  加入收藏
随着计算机行业的飞速发展,摩尔定律逐渐失效,多核CPU成为主流。使用多线程并行计算逐渐成为开发人员提升服务器性能的基本武器。J.U.C提供的线程池ThreadPoolExecutor类,帮助开...【详细内容】
2020-05-05  Tags: Java 线程池  点击:(44)  评论:(0)  加入收藏
前言各行各业都有基本功,例如医生,需要知道人体各个器官、各个系统的作用,知道细胞的作用、细菌和真菌的区别、病毒是怎么形成的,还得知道各种药的作用,如何对症下药等。在程序员...【详细内容】
2019-09-02  Tags: Java 线程池  点击:(182)  评论:(0)  加入收藏
前言谈到 Java 的线程池最熟悉的莫过于 ExecutorService 接口了,jdk1.5 新增的 java.util.concurrent 包下的这个 api,大大的简化了多线程代码的开发。而不论你用 FixedThread...【详细内容】
2019-08-29  Tags: Java 线程池  点击:(187)  评论:(0)  加入收藏
这篇文章结合Doug Lea大神在JDK1.5提供的JCU包,分别从线程池大小参数的设置、工作线程的创建、空闲线程的回收、阻塞队列的使用、任务拒绝策略、线程池Hook等方面来了解线...【详细内容】
2019-07-23  Tags: Java 线程池  点击:(303)  评论:(0)  加入收藏
▌简易百科推荐
面向对象的特征之一封装 面向对象的特征之二继承 方法重写(override/overWrite) 方法的重载(overload)和重写(override)的区别: 面向对象特征之三:多态 Instanceof关键字...【详细内容】
2021-12-28  顶顶架构师    Tags:面向对象   点击:(2)  评论:(0)  加入收藏
一、Redis使用过程中一些小的注意点1、不要把Redis当成数据库来使用二、Arrays.asList常见失误需求:把数组转成list集合去处理。方法:Arrays.asList 或者 Java8的stream流式处...【详细内容】
2021-12-27  CF07    Tags:Java   点击:(3)  评论:(0)  加入收藏
文章目录 如何理解面向对象编程? JDK 和 JRE 有什么区别? 如何理解Java中封装,继承、多态特性? 如何理解Java中的字节码对象? 你是如何理解Java中的泛型的? 说说泛型应用...【详细内容】
2021-12-24  Java架构师之路    Tags:JAVA   点击:(5)  评论:(0)  加入收藏
大家好!我是老码农,一个喜欢技术、爱分享的同学,从今天开始和大家持续分享JVM调优方面的经验。JVM调优是个大话题,涉及的知识点很庞大 Java内存模型 垃圾回收机制 各种工具使用 ...【详细内容】
2021-12-23  小码匠和老码农    Tags:JVM调优   点击:(12)  评论:(0)  加入收藏
前言JDBC访问Postgresql的jsonb类型字段当然可以使用Postgresql jdbc驱动中提供的PGobject,但是这样在需要兼容多种数据库的系统开发中显得不那么通用,需要特殊处理。本文介绍...【详细内容】
2021-12-23  dingle    Tags:JDBC   点击:(13)  评论:(0)  加入收藏
Java与Lua相互调用案例比较少,因此项目使用需要做详细的性能测试,本内容只做粗略测试。目前已完成初版Lua-Java调用框架开发,后期有时间准备把框架进行抽象,并开源出来,感兴趣的...【详细内容】
2021-12-23  JAVA小白    Tags:Java   点击:(11)  评论:(0)  加入收藏
Java从版本5开始,在 java.util.concurrent.locks包内给我们提供了除了synchronized关键字以外的几个新的锁功能的实现,ReentrantLock就是其中的一个。但是这并不意味着我们可...【详细内容】
2021-12-17  小西学JAVA    Tags:JAVA并发   点击:(11)  评论:(0)  加入收藏
一、概述final是Java关键字中最常见之一,表示“最终的,不可更改”之意,在Java中也正是这个意思。有final修饰的内容,就会变得与众不同,它们会变成终极存在,其内容成为固定的存在。...【详细内容】
2021-12-15  唯一浩哥    Tags:Java基础   点击:(17)  评论:(0)  加入收藏
1、问题描述关于java中的日志管理logback,去年写过关于logback介绍的文章,这次项目中又优化了下,记录下,希望能帮到需要的朋友。2、解决方案这次其实是碰到了一个问题,一般的情况...【详细内容】
2021-12-15  软件老王    Tags:logback   点击:(19)  评论:(0)  加入收藏
本篇文章我们以AtomicInteger为例子,主要讲解下CAS(Compare And Swap)功能是如何在AtomicInteger中使用的,以及提供CAS功能的Unsafe对象。我们先从一个例子开始吧。假设现在我们...【详细内容】
2021-12-14  小西学JAVA    Tags:JAVA   点击:(22)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条