您当前的位置:首页 > 生活百科 > 知识

当你懂了以下的技巧,优化创建的几百个线程不是问题

时间:2020-08-20 10:49:07  来源:  作者:

近日,据报道,甲骨文已经与TikTok的中国所有者字节跳动进行了初步谈判,并认真考虑购买该应用在美国、加拿大、澳大利亚和新西兰的业务。知情人士还补充称,甲骨文正在与一群已经持有字节跳动股票的美国投资者合作,包括美国泛大西洋投资集团和红杉资本。

/ 前言 /

当大家打开AndroidStudio的Profiler工具时,是否遇到过这种情况:

当你懂了以下的技巧,优化创建的几百个线程不是问题

 

哇塞好几百个线程??名字咋都是12345?怎么都在sleep或wait但就不销毁?

其实,当一个项目规模越来越大时,随着开发人员变更、老代码不规范、三方sdk引入越来越多,很难避免线程数量暴涨的问题。当线程过多时,不仅有oom风险,更会带来很多内存泄漏的隐患。但通过Profiler工具也只是知道线程数量,用Thread.getAllStackTraces()方法获取到的也只有线程的运行时堆栈,即到run()方法就结束了,并不知道start()是被谁调用的。所以也就无法得知当前线程所对应的业务逻辑,以及它在当前时刻是否本应该被销毁。

/ 思路 /

那如何才能得知一个线程start()方法的调用栈呢?如果我们有个BaseThread,然后所有的线程都使用或继承于它,就好办了,我们可以在start()方法中获取堆栈信息:

@Synchronized
override fun start() {
    val stackElements = Throwable().stackTrace
    super.start()
}

想要做到这一点,可以使用asm编译期间改字节码来完成。这里简单介绍下asm,它可以通过自定义gradle插件,在代码被编译成class后、打包成dex前,把项目中的所有class文件(包括你自己写的,和三方jar包中的)遍历一遍,遍历期间你就可以通过asm任意修改class字节码,以达到各种不可告人的目的。那么我们就可以通过asm来把项目中的Thread都替换掉:

new Thread() -> new BaseThread()
extends Thread -> extends BaseThread

/ 操作 /

现在有了调用栈,如何将调用栈和线程建立联系呢?其实Thread初始化时已经产生了线程id,我们可以在start()中把线程id和对应栈信息放到一个map中。另外我们还可以复写run()方法,当super.run()执行完后,线程即将销毁,我们可以在此时把map中对应信息移除掉。

好了!就是这么简单,接下来看线程池。线程池中的线程按刚刚的方法是替换不掉的,因为这些代码在framework层,asm管不着。并且对于线程池来说,我们需要的不是它的线程在哪被启动,而是线程正在执行的task是从哪里被添加的,这样我们才知道是哪个业务添加了task使得线程一直在运行。

线程池一般有两种创建方法,直接new和调用Executors.xxx,我们先看new出来的,按照上述套路,搞个BaseThreadPool,使用asm全部替换掉,然后在构造函数中获取线程池创建堆栈,再复写execute、submit、invokeAny等提交task的方法,在其中获取task添加堆栈。但获取到的堆栈如何跟线程对应上呢?我们知道提交的task都是Runnable或Callable形式,如果我们写个PoolRunnable把它包一层,把线程池名字和task添加栈传进去,然后在run()中调用Thread.currentThread()获取当前线程,就把线程池名、线程池创建栈、线程id、task添加栈都关联起来了。

class PoolRunnable constructor(
    private val any: Any,
    private val callStack: String,
    private val poolName: String? = null
) : Runnable, Callable<Any>, Comparable<Any> {

    override fun run() {
        val threadId = Thread.currentThread().id
        // 至此callStack、poolName、thread就可以全部关联上
        // poolName和poolCreateStack可在外面事先创建关联

        (any as Runnable).run()

        // 任务已执行结束,callStack表示task添加栈,此时应为空代表线程当前无任务在运行
        info.callStack = ""
    }

    override fun call(): Any {
        // 类似run()方法
    }

    override fun compareTo(other: Any): Int {
        // 省略代码
    }
}

这里有一点要说明,有些task可能同时继承于Runnable、Callable、甚至Comparable,如果只包装成Runnable,当调用其他接口方法时会crash,所以这里要把已知的可能会继承的接口都实现。(当然如果后面发现没覆盖全,可以把新的接口继续加进来。至于用户自定义Runnable实现很多接口的情况不用担心。因为替换为PoolRunnable后都是系统代码在运行,主要看系统代码是否会调用call()、compareTo()等方法就好,上层随意调用被包装的runnable中各种自定义方法是没问题的)。

但是对于建立“线程-线程池”关系来说,这样要等到run()方法被执行时才能建立关系,感觉有点晚。这里可以更进一步,替换掉线程池中threadFactory,同样是自己包一层,在newThread()方法中即可及时拿到线程池创建的线程,这样就可以先和线程池建立关联,然后run()时再和堆栈建立关联。

好了!new方式创建的线程池搞定,接下来看看Executors.xxx怎么玩,我们可不可以自己写个ProxyExecutors,使用asm把所有Executors.xxx都替换成ProxyExecutors.xxx,然后把其中new ThreadPool都换成new BaseThreadPool呢?

object ProxyExecutors {

    @JvmStatic
    fun newFixedThreadPool(nThreads: Int): ExecutorService {
        return BaseThreadPoolExecutor(
            nThreads, nThreads,
            0L, TimeUnit.MILLISECONDS,
            LinkedBlockingQueue()
        )
    }

    @JvmStatic
    fun newCachedThreadPool(): ExecutorService {
        return BaseThreadPoolExecutor(
            0, Int.MAX_VALUE,
            60L, TimeUnit.SECONDS,
            SynchronousQueue()
        )
    }

    @JvmStatic
    fun newScheduledThreadPool(
        corePoolSize: Int,
        threadFactory: ThreadFactory?
    ): ScheduledExecutorService {
        return BaseScheduledThreadPoolExecutor(corePoolSize, threadFactory)
    }
}

对于某些线程池确实没啥问题,但当你继续写下去时,会出问题,比如:

 @JvmStatic
    fun newSingleThreadScheduledExecutor(): ScheduledExecutorService {
        return BaseDelegatedScheduledExecutorService(
            ScheduledThreadPoolExecutor(1)
        )
    }

DelegatedScheduledExecutorService是Executors的私有内部类,没办法方便的写出BaseDelegatedScheduledExecutorService。所以继续观察下,发现所有创建线程池方法都返回的都是ExecutorService或ScheduledExecutorService,既然这么统一,并且这两个都是接口,那我们就使用动态代理吧!通过代理,就可以拿到接口的各种方法以及方法参数,然后为所欲为。以ExecutorService接口为例:

object ProxyExecutors {
    @JvmStatic
    fun newFixedThreadPool(nThreads: Int): ExecutorService {
        return proxy(Executors.newFixedThreadPool(nThreads))
    }
}
private fun proxy(executorService: ExecutorService): ExecutorService {
        if (executorService is ThreadPoolExecutor) {
            // 这里和BaseThreadPoolExecutor一样,设置ThreadFactory为了尽早获取线程信息和线程池建立联系,而不用等到run时
            executorService.threadFactory = BaseThreadFactory(
                executorService.threadFactory,
                toObjectString(executorService)
            )
        }
        val handler = ProxyExecutorService(executorService)
        return Proxy.newProxyInstance(
            executorService.JAVAClass.classLoader,
            AbstractExecutorService::class.java.interfaces,
            handler
        ) as ExecutorService
    }
// 这里使用java是因为kotlin在调用java变长参数方法时有坑
public class ProxyExecutorService implements InvocationHandler {
    private ExecutorService executor;
    private String poolName = null;

    ProxyExecutorService(ExecutorService executor) {
        this.executor = executor;
        poolName = TrackerUtils.toObjectString(executor);
        // 初始化时获取线程池信息
        String createStack = TrackerUtils.getStackString(false);
        // 省略部分代码
    }

    @Override
    public Object invoke(Object proxy, Method method, Object[] args) throws Throwable {
        // 因方法数众多,并且被代理的各类中方法也不一致
        // 所以被调用方法中只要含有Runnable、Callable类型的参数,都替换成PoolRunnable代理
        if (args != null) {
            String callStack = TrackerUtils.getStackString(true);
            for (int i = 0; i < args.length; i++) {
                Object arg = args[i];
                if ((arg instanceof Runnable || arg instanceof Callable) && !(arg instanceof PoolRunnable)) {
                    // execute submit 等情况
                    PoolRunnable any = new PoolRunnable(arg, callStack, poolName);
                    // 替换方法参数
                    args[i] = any;
                } else if (arg instanceof Collection && !((Collection) arg).isEmpty()) {
                    // invokeAny invokeAll 等情况
                    Iterator iter = ((Collection) arg).iterator();
                    ArrayList<PoolRunnable> taskList = new ArrayList<>();
                    boolean allOk = iter.hasNext();
                    while (iter.hasNext()) {
                        Object it = iter.next();
                        if (it instanceof Runnable || it instanceof Callable) {
                            if (it instanceof PoolRunnable) {
                                taskList.add((PoolRunnable) it);
                            } else {
                                taskList.add(new PoolRunnable(it, callStack, poolName));
                            }
                        } else {
                            allOk = false;
                            break;
                        }
                    }
                    if (allOk) {
                        // 替换方法参数
                        args[i] = taskList;
                    }
                }
            }
        }

        if (method.getName().equals("shutdown") || method.getName().equals("shutdownNow")) {
            ThreadInfoManager.getINSTANCE().shutDownPool(poolName);
        }
        return method.invoke(executor, args);
    }
}

在invoke方法中,我们把所有参数为Runnable或Callable的都替换成自己的PoolRunnable,后面和new创建线程池的套路一样,在PoolRunnable的run()或call()方法中进行线程与堆栈的关联。完美!

但是考虑一个问题,如果有人不幸写出这样的代码,会发生什么呢?

val pool = Executors.newFixedThreadPool(3) as ThreadPoolExecutor

对了,会crash,因为我们动态代理后代理对象变成了ExecutorService,没办法向下转型成ThreadPoolExecutor,这也是动态代理的一个缺点,只能代理接口,如果一个类A除了实现接口还有很多自己的方法,动态代理对这些方法是无能为力的,代理后对象只是接口的实例,无法转成类A。这个问题可以使用cglib/javassist库解决,这里就不展开了。为了保险起见,我们可以把能用Base替换的都替换掉,只有类似newSingleThreadScheduledExecutor()这种不能用Base替换的才用动态代理:

object ProxyExecutors {

    @JvmStatic
    fun newFixedThreadPool(nThreads: Int): ExecutorService {
        // 这里使用BaseThreadPoolExecutor主要是为了避免上层代码把ExecutorService转型成ThreadPoolExecutor的问题,如果使用proxy方法动态代理,上层这么做会crash
        return BaseThreadPoolExecutor(
            nThreads, nThreads,
            0L, TimeUnit.MILLISECONDS,
            LinkedBlockingQueue()
        )
        // return proxy(Executors.newFixedThreadPool(nThreads))
    }

ok,线程池搞定了。但除了线程和线程池,Java和Android中还有很多封装了线程线程池的类。比如HandlerThread,Timer,ASyncTask等,我们先处理这几个常用类吧。

HandlerThread本质上就是Thread,采用和Thread类似的处理方式就好。

Timer内部有个私有的TimerThread成员,本质也是个Thread,看源码可知Timer在构造方法中便启动了这个Thread,所以调用栈也就是Timer被初始化的栈。我们可以新建BaseTimer,使用asm将代码中的Timer替换掉,然后构造方法中获取调用栈,再通过反射拿到内部Thread成员,获取其id等信息,与调用栈关联即可。

ASyncTask这个相对来说难办一些,这里面主要有两个Executor:THREAD_POOL_EXECUTOR和SERIAL_EXECUTOR,其中主要干活的是THREAD_POOL_EXECUTOR,而SERIAL_EXECUTOR并不是真正意义上的线程池,只是实现了Executor接口而已。SERIAL_EXECUTOR的execute()方法在向一个队列中添加任务,然后依次取出送入THREAD_POOL_EXECUTOR中执行,所以我们需要THREAD_POOL_EXECUTOR的线程池信息,关联SERIAL_EXECUTOR的execute()任务添加栈信息。

而外界又可以直接用THREAD_POOL_EXECUTOR添加任务,这种情况下就又需要THREAD_POOL_EXECUTOR的任务添加栈信息了,所以这里需要一些特殊处理。总体思路仍然是动态代理SERIAL_EXECUTOR和THREAD_POOL_EXECUTOR,然后把代理设置回ASyncTask,时机为App启动时。由于ASyncTask中这两个线程池对象是final的,所以需要通过反射修改modifiers去掉final位。这在5.0及以上系统没什么问题,但4.x的源码中modifiers是通过native获取的:

/**
     * Returns the modifiers for this field. The {@link Modifier} class should
     * be used to decode the result.
     *
     * @return the modifiers for this field
     * @see Modifier
     */
    public int getModifiers() {
        return getFieldModifiers(declaringClass, slot);
    }

    private native int getFieldModifiers(Class<?> declaringClass, int slot);

对此暂未找到修改方式,所以如果要追踪ASyncTask,请使用Android 5.0及以上手机

至此,线程/线程池溯源基本完成了,后续会继续完善IntentService、ForkJoinPool和Java/Android源码中封装的其他不太常用的线程/线程池封装类。

初版效果长这样:

当你懂了以下的技巧,优化创建的几百个线程不是问题

 


当你懂了以下的技巧,优化创建的几百个线程不是问题

 

可以看到界面中对用户代码做了高亮,帮助用户在迷乱的调用栈中一眼看到问题根源。其原理大致是在asm扫描class过程中,根据获取到的项目信息来记录哪些是用户写的代码(不能直接根据是否为jar包来判断,如果项目存在多个module,可能这些module最后也是以jar包形式被asm扫描),然后把相关class包名记下来,过滤掉包含有“已有短包名”的“较长包名”,把这些包名list通过asm写入到指定Java类的指定ArrayList成员中。在获取到调用栈后,可以和这些包名list对比,进行高亮。

/ 总结 /

最后,此文作为抛砖引玉,提供一种线程溯源的思路。其实可以看出asm还是很强大的,能做什么就取决于大家的想象力了。后面会逐渐完善新功能,比如记录线程运行时间,根据线程各维度状态筛选/排序等,统计线程所属包名或jar文件名,看看那些三方库在为非作歹(特别是某些广告sdk,简直。。),甚至对线程/线程池运行状态可疑的给出警告和优化建议等等。

最最后,作为asm初学者,很多用法还比较初级,如果有更优雅的实现方式,欢迎疯狂pull requests;另外,该项目虽然目前在咕咚这个比较庞大复杂的app上可正常运行,但难免还有考虑不周全的地方,毕竟替换字节码是比较危险的操作。

以下是我整理的资料

Android核心知识点笔记github:https://github.com/AndroidCot/Android



Tags:线程   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
一文看懂"async"和“await”关键词是如何简化了C#中多线程的开发过程当我们使用需要长时间运行的方法(即,用于读取大文件或从网络下载大量资源)时,在同步的应用程序中,应用程序本...【详细内容】
2021-12-01  Tags: 线程  点击:(23)  评论:(0)  加入收藏
相关概念 并发和并行 并发:指一个时间段内,在一个CPU(CPU核心)能运行的程序的数量。 并行:指在同一时刻,在多个CPU上运行多个程序,跟CPU(CPU核心)数量有关。因为计算机CPU(CPU核心)在同...【详细内容】
2021-11-30  Tags: 线程  点击:(18)  评论:(0)  加入收藏
上上周生产出现问题,记录一下定位问题的方案,原创不易,欢迎关注测试代码:@RestController@RequestMapping("/test")public class TestController { private static Logger log...【详细内容】
2021-11-23  Tags: 线程  点击:(21)  评论:(0)  加入收藏
原文链接: https://mp.weixin.qq.com/s/MTw7z6n_wk4y4CTmGkoRoA一切要从CPU说起你可能会有疑问,讲多线程为什么要从CPU说起呢?原因很简单,在这里没有那些时髦的概念,你可以更加清...【详细内容】
2021-08-13  Tags: 线程  点击:(96)  评论:(0)  加入收藏
一、现代计算机理论模型与工作方式现代计算机模型是基于-冯诺依曼计算机模型。计算机在运行时,先从内存中取出第一条指令,通过控制器的译码,按指令的要求,从存储器中取出数据进...【详细内容】
2021-07-19  Tags: 线程  点击:(87)  评论:(0)  加入收藏
多线程并发是Java语言中非常重要的一块内容,同时,也是Java基础的一个难点。说它重要是因为多线程是日常开发中频繁用到的知识,说它难是因为多线程并发涉及到的知识点非常之多,想...【详细内容】
2021-07-12  Tags: 线程  点击:(110)  评论:(0)  加入收藏
1.进程 2.线程 3.主线程主线程就是java 中main方法 如果是单线程的话,有p1,p2两个对象,他们中间有一条语句。若是单线程,若这条语句出错,则p2不执行了。若是多线程则p2还可以执...【详细内容】
2021-07-04  Tags: 线程  点击:(164)  评论:(0)  加入收藏
1.找出cpu耗用厉害的进程pid终端执行输入top命令,按下shift+h 查找出cpu利用最厉害的pid号:pid号:30769 2.根据进程pid号找到哪个消耗最高的线程号终端执行输入top -H -p pid...【详细内容】
2021-06-24  Tags: 线程  点击:(98)  评论:(0)  加入收藏
作者:leafjia,腾讯WXG客户端开发工程师你真的了解Android的线程优先级吗? 看似平平无奇的三行代码却隐藏着巨大的陷阱!Android上如果在主线程执行下面的代码:Thread t = new Thre...【详细内容】
2021-06-18  Tags: 线程  点击:(131)  评论:(0)  加入收藏
public class SReactorSThread { private Selector selector; private ServerSocketChannel serverSocketChannel; private int PORT = 6666; public SReactorS...【详细内容】
2021-05-25  Tags: 线程  点击:(779)  评论:(0)  加入收藏
▌简易百科推荐
自1991年第一款锂离子商业化以来,锂离子电池以高比能量的特点迅速占领了便携式电子产品市场,例如我们生活当中手机聚合物电池、无人飞机的高倍率电池、新国标电动车、新能源汽...【详细内容】
2021-12-27  全航工作室    Tags:锂电池   点击:(0)  评论:(0)  加入收藏
一张身份证里藏着惊人的信息。本文将教你如何从身份证号码前6位数看是哪里人。1949年,地级市的数目为54个,地区的数目为170个;1982年,地级市的数目为112个,地区的数目为170个,在此...【详细内容】
2021-12-27  聪颖书签U    Tags:身份证号   点击:(3)  评论:(0)  加入收藏
在每年的公历12月25日,是基督教徒纪念耶稣诞生的日子,我们称为圣诞节。圣诞节这个名称是基督弥撒的缩写,弥撒是基督教会的一种礼拜仪式。耶诞节是一个宗教节,我们把它当做耶稣的...【详细内容】
2021-12-24  长松爱剪辑    Tags:圣诞节   点击:(190)  评论:(0)  加入收藏
2022年1月,新的一年的开端,你的发展会如何?能为你开启一年的好运吗?下面跟着我一起来看看12星座2022年1月发展吧。白羊座优势: 魅力得以展现,爱情顺势而来。弱势: 情绪起伏大,...【详细内容】
2021-12-24  孟依婷啊    Tags:星座   点击:(16)  评论:(0)  加入收藏
DN/De/D/&Phi;/PN/SDR的区别 D:一般是指管道的内径,管道内壁内圆的直径。 DN:是指公称直径,又称平均外径,既不是管道的外径也不是内径,而是外径和内径的平均值。这是管道及其附件...【详细内容】
2021-12-24  水电小知识    Tags:管材   点击:(8)  评论:(0)  加入收藏
今天是公历2021年12月19日,农历十一月十六,星期日。后天,斗指子,太阳黄经达270&deg;,就到了今年“二十四节气”之第22个节气&mdash;&mdash;冬至节气!冬至,作为中国二十四节气的一个...【详细内容】
2021-12-20  冀豫耕耘    Tags:冬至   点击:(3)  评论:(0)  加入收藏
锂离子电池自从进入市场以来,以其寿命长、比容量大、无记忆效应等优点,获得了广泛的应用。锂离子电池低温使用存在容量低、衰减严重、循环倍率性能差、析锂现象明显、脱嵌锂不...【详细内容】
2021-12-20  全国能源信息平台    Tags:锂电池   点击:(5)  评论:(0)  加入收藏
引子感谢绿地,18年买的房子现在外墙还没做完,今年是奶爸的第四个租房的年头了,9月份刚刚换了一间大一点的房子。大房子住着倒是舒服些,然而房东配的床却完全不走心,这不前两天大...【详细内容】
2021-12-16  晋升奶爸的垃圾佬    Tags:手电钻   点击:(6)  评论:(0)  加入收藏
讲到电力负荷的计算,想必大部分从业多年的电气工程师都陌生了,但是对于一个初学者而言就可能一知半解了。那么什么是电力负荷呢?其实电力负荷是一个相对模糊的概念,它笼统地说是...【详细内容】
2021-12-15  电气设计狄老师    Tags:电力负荷   点击:(5)  评论:(0)  加入收藏
什么是过电流?什么是过负荷?想必很多初学电气的朋友都一知半解。其实过负荷、过载、过电流都包含有相同的意思,都会导致电器温度升高。其中过负荷、过载一般超过额定值不多,允许...【详细内容】
2021-12-15  电气知识课堂    Tags:电流   点击:(7)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条