Java8 Stream 数据流,大数据量下的性能效率

2023-09-13 14:09:41

Java8 Stream 数据流,大数据量下的性能效率怎么样?

Stream 是 Java SE 8 类库中新增的关键抽象,它被定义于 java.util.stream (这个包里有若干流类型: Stream<T> 代表对象引用流,此外还有一系列特化流,如 IntStream,LongStream,DoubleStream 等 ),Java 8 引入的的 Stream 主要用于取代部分 Collection 的操作,每个流代表一个值序列,流提供一系列常用的聚集操作,可以便捷的在它上面进行各种运算。集合类库也提供了便捷的方式使我们可以以操作流的方式使用集合、数组以及其它数据结构。

1、stream 的操作种类

1.1 中间操作 

  • 当数据源中的数据上了流水线后,这个过程对数据进行的所有操作都称为“中间操作”;

  • 中间操作仍然会返回一个流对象,因此多个中间操作可以串连起来形成一个流水线;

  • stream 提供了多种类型的中间操作,如 filter、distinct、map、sorted 等等;

1.2 终端操作 

  • 当所有的中间操作完成后,若要将数据从流水线上拿下来,则需要执行终端操作;

  • stream 对于终端操作,可以直接提供一个中间操作的结果,或者将结果转换为特定的 collection、array、String 等;

2、stream 的特点

①只能遍历一次:

数据流的从一头获取数据源,在流水线上依次对元素进行操作,当元素通过流水线,便无法再对其进行操作,可以重新在数据源获取一个新的数据流进行操作;

②采用内部迭代的方式:

对 Collection 进行处理,一般会使用 Iterator 遍历器的遍历方式,这是一种外部迭代;

而对于处理 Stream,只要申明处理方式,处理过程由流对象自行完成,这是一种内部迭代,对于大量数据的迭代处理中,内部迭代比外部迭代要更加高效;

3、stream 相对于 Collection 的优点

  • 无存储:流并不存储值;流的元素源自数据源(可能是某个数据结构、生成函数或 I/O 通道等等),通过一系列计算步骤得到;

  • 函数式风格:对流的操作会产生一个结果,但流的数据源不会被修改;

  • 惰性求值:多数流操作(包括过滤、映射、排序以及去重)都可以以惰性方式实现。这使得我们可以用一遍遍历完成整个流水线操作,并可以用短路操作提供更高效的实现;

  • 无需上界:不少问题都可以被表达为无限流(infinite stream):用户不停地读取流直到满意的结果出现为止(比如说,枚举 完美数 这个操作可以被表达为在所有整数上进行过滤);集合是有限的,但流可以表达为无线流;

  • 代码简练:对于一些 collection 的迭代处理操作,使用 stream 编写可以十分简洁,如果使用传统的 collection 迭代操作,代码可能十分啰嗦,可读性也会比较糟糕;

4、stream 和 iterator 迭代的效率比较

好了,上面 stream 的优点吹了那么多,stream 函数式的写法是很舒服,那么 steam 的效率到底怎样呢?

先说结论:

  • 传统 iterator (for-loop) 比 stream(JDK8) 迭代性能要高,尤其在小数据量的情况下;

  • 在多核情景下,对于大数据量的处理,parallel stream 可以有比 iterator 更高的迭代处理效率;

我分别对一个随机数列 List (数量从 10 到 10000000)进行映射、过滤、排序、规约统计、字符串转化场景下,对使用 stream 和 iterator 实现的运行效率进行了统计,测试代码 基准测试代码链接

测试环境如下:

System:Ubuntu 16.04 xenial

CPU:Intel Core i7-8550U

RAM:16GB

JDK version:1.8.0_151

JVM:HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

JVM Settings:

    -Xms1024m

    -Xmx6144m

    -XX:MaxMetaspaceSize=512m

    -XX:ReservedCodeCacheSize=1024m

    -XX:+UseConcMarkSweepGC

    -XX:SoftRefLRUPolicyMSPerMB=100

4.1 映射处理测试

把一个随机数列(List<Integer>)中的每一个元素自增 1 后,重新组装为一个新的 List<Integer>,测试的随机数列容量从 10 - 10000000,跑 10 次取平均时间;

//streamList<Integer> result = list.stream().mapToInt(x -> x).map(x -> ++x).boxed().collect(Collectors.toCollection(ArrayList::new));//iteratorList<Integer> result = new ArrayList<>();for(Integer e : list){    result.add(++e);}//parallel streamList<Integer> result = list.parallelStream().mapToInt(x -> x).map(x -> ++x).boxed().collect(Collectors.toCollection(ArrayList::new));

4.2 过滤处理测试

取出一个随机数列(List<Integer>)中的大于 200 的元素,并组装为一个新的 List<Integer>,测试的随机数列容量从 10 - 10000000,跑 10 次取平均时间;

//streamList<Integer> result = list.stream().mapToInt(x -> x).filter(x -> x > 200).boxed().collect(Collectors.toCollection(ArrayList::new));//iteratorList<Integer> result = new ArrayList<>(list.size());for(Integer e : list){    if(e > 200){        result.add(e);    }}//parallel streamList<Integer> result = list.parallelStream().mapToInt(x -> x).filter(x -> x > 200).boxed().collect(Collectors.toCollection(ArrayList::new));

4.3 自然排序测试

对一个随机数列(List<Integer>)进行自然排序,并组装为一个新的 List<Integer>,iterator 使用的是 Collections # sort API(使用归并排序算法实现),测试的随机数列容量从 10 - 10000000,跑 10 次取平均时间;

//streamList<Integer> result = list.stream().mapToInt(x->x).sorted().boxed().collect(Collectors.toCollection(ArrayList::new));//iteratorList<Integer> result = new ArrayList<>(list);Collections.sort(result);//parallel streamList<Integer> result = list.parallelStream().mapToInt(x->x).sorted().boxed().collect(Collectors.toCollection(ArrayList::new));

4.4 归约统计测试

获取一个随机数列(List<Integer>)的最大值,测试的随机数列容量从 10 - 10000000,跑 10 次取平均时间;

//streamint max = list.stream().mapToInt(x -> x).max().getAsInt();//iteratorint max = -1;for(Integer e : list){    if(e > max){        max = e;    }}//parallel streamint max = list.parallelStream().mapToInt(x -> x).max().getAsInt();

4.5 字符串拼接测试

获取一个随机数列(List<Integer>)各个元素使用“,”分隔的字符串,测试的随机数列容量从 10 - 10000000,跑 10 次取平均时间;

//streamString result = list.stream().map(String::valueOf).collect(Collectors.joining(","));//iteratorStringBuilder builder = new StringBuilder();for(Integer e : list){    builder.append(e).append(",");}String result = builder.length() == 0 ? "" : builder.substring(0,builder.length() - 1);//parallel streamString result = list.stream().map(String::valueOf).collect(Collectors.joining(","));

4.6 混合操作测试

对一个随机数列(List<Integer>)进行去空值,除重,映射,过滤,并组装为一个新的 List<Integer>,测试的随机数列容量从 10 - 10000000,跑 10 次取平均时间;

//streamList<Integer> result = list.stream().filter(Objects::nonNull).mapToInt(x -> x + 1).filter(x -> x > 200).distinct().boxed().collect(Collectors.toCollection(ArrayList::new));//iteratorHashSet<Integer> set  = new HashSet<>(list.size());for(Integer e : list){    if(e != null && e > 200){        set.add(e + 1);    }}List<Integer> result = new ArrayList<>(set);//parallel streamList<Integer> result = list.parallelStream().filter(Objects::nonNull).mapToInt(x -> x + 1).filter(x -> x > 200).distinct().boxed().collect(Collectors.toCollection(ArrayList::new));

5、实验结果总结

从以上的实验来看,可以总结处以下几点:

  • 在少低数据量的处理场景中(size<=1000),stream 的处理效率是不如传统的 iterator 外部迭代器处理速度快的,但是实际上这些处理任务本身运行时间都低于毫秒,这点效率的差距对普通业务几乎没有影响,反而 stream 可以使得代码更加简洁;

  • 在大数据量(szie>10000)时,stream 的处理效率会高于 iterator,特别是使用了并行流,在 cpu 恰好将线程分配到多个核心的条件下(当然 parallel stream 底层使用的是 JVM 的 ForkJoinPool,这东西分配线程本身就很玄学),可以达到一个很高的运行效率,然而实际普通业务一般不会有需要迭代高于 10000 次的计算;

  • Parallel Stream 受引 CPU 环境影响很大,当没分配到多个 cpu 核心时,加上引用 forkJoinPool 的开销,运行效率可能还不如普通的 Stream;

6、使用 Stream 的建议

  • 简单的迭代逻辑,可以直接使用 iterator,对于有多步处理的迭代逻辑,可以使用 stream,损失一点几乎没有的效率,换来代码的高可读性是值得的;

  • 单核 cpu 环境,不推荐使用 parallel stream,在多核 cpu 且有大数据量的条件下,推荐使用 paralle stream;

  • stream 中含有装箱类型,在进行中间操作之前,最好转成对应的数值流,减少由于频繁的拆箱、装箱造成的性能损失。

更多推荐

【新版】系统架构设计师 - 软件架构设计<SOA与微服务>

个人总结,仅供参考,欢迎加好友一起讨论架构-软件架构设计<SOA与微服务>考点摘要面向服务SOA(★★★★)微服务(★★★★)基于/面向服务的(SOA)在SOA模型中,所有的功能都定义成了独立的服务。服务之间通过交互和协调完成业务的整体逻辑。所有的服务通过服务总线或流程管理器来连接。这种松散耦合的架构使得各服务在交互过

华为分布式新核心全面升级金融级PaaS能力:数字化时代“分工”再深化

文|螳螂观察作者|李永华金融领域一向是数字化转型升级最难啃的硬骨头,无数厂商在此深耕,但由于行业数字化需求复杂而艰深,实现深入突破的并不多,尤其是在关系到账户数据的核心系统方面,有所建树的少之又少。去年11月HC大会期间华为联合业界发布了《现代化金融核心系统白皮书》,今年HC期间,华为数字金融军团CEO曹冲在演讲中指出

刷刷刷——滑动窗口

文章目录209.长度最小的子数组(中等)题目链接算法原理代码实现3.无重复字符的最长子串(中等)题目链接算法原理代码实现1004.最大连续1的个数III(中等)题目链接算法原理代码实现1658.将x减到0的最小操作数(中等)题目链接算法原理代码实现904.水果成篮(中等)题目链接算法原理代码实现438.找到字符串中所有

Docker

1.初识Docker1.1.什么是Docker微服务虽然具备各种各样的优势,但服务的拆分通用给部署带来了很大的麻烦。分布式系统中,依赖的组件非常多,不同组件之间部署时往往会产生一些冲突。在数百上千台服务中重复部署,环境不一定一致,会遇到各种问题1.1.1.应用部署的环境问题大型项目组件较多,运行环境也较为复杂,部署时会

Learn Prompt-人工智能基础

什么是人工智能?很多人能举出很多例子说这就是人工智能,但是让我们给它定义一个概念大家又觉得很难描述的清楚。实际上,人工智能并不是计算机科学领域专属的概念,在其他学科包括神经科学、心理学、哲学等也有人工智能的概念以及相关的研究。在笔者的观点里,人工智能就是机器具备同时获得、建立、发展、和运用知识的能力。在计算机科学中,我

网络安全(黑客)自学

前言作为一个合格的网络安全工程师,应该做到攻守兼备,毕竟知己知彼,才能百战百胜。计算机各领域的知识水平决定你渗透水平的上限。【1】比如:你编程水平高,那你在代码审计的时候就会比别人强,写出的漏洞利用工具就会比别人的好用;【2】比如:你数据库知识水平高,那你在进行SQL注入攻击的时候,你就可以写出更多更好的SQL注入语句

【业务功能110】微服务-springcloud-springboot-Kubernetes集群部署-kubeadm极速部署-Docker安装

kubeadm极速部署Kubernetes1.24版本集群一、Kubernetes1.24版本集群部署1.1Kubernetes1.24版本集群部署环境准备1.1.1主机操作系统说明序号操作系统及版本备注1CentOS7u91.1.2主机硬件配置说明三台主机可以利用虚拟化VMware来部署1.准备Centos7iso镜

常用数据库的 API - 开篇

APIAPI这个词在大多数人看来可能和CNS差不多,前者天天听说就是用不上,后者天天读就是发不了。不过,通过今天的一个简短介绍,今后API这个东西你就用上了,因为在文章最后我将会展示一个最最基础且高频的API使用示例。所谓API(ApplicationProgrammingInterface)就是应用程序接口。这个应用

联合国教科文发布,ChatGPT等生成式AI教育应用指南

联合国教科文组织(UNESCO)在官网发布了,全球首个《生成式AI与教育未来》的应用指南。呼吁各国实施适当的政策,以确保在教育中应用以人为本的方法来使用生成式AI。(指南下载地址:https://unesdoc.unesco.org/ark:/48223/pf0000386693)联合国教科文鼓励各国在教育中应用Cha

6.3、Flink数据写入到MySQL

目录1、添加POM依赖2、这一个完整的案例3、何时批量写入MySQL呢?4、容错性的保证(精确一次&至少一次)4.1、至少一次4.2、精确一次1、添加POM依赖ApacheFlink集成了通用的JDBC连接器,使用时需要根据生产环境的版本引入相应的依赖官网链接:官网<!--引入flinkjdbc连接器--><depen

猫头虎博主赠书三期:《Go编程进阶实战: 开发命令行应用、HTTP应用和gRPC应用》

🎉猫头虎博主赠书三期🎉:《Go编程进阶实战:开发命令行应用、HTTP应用和gRPC应用》🌷🍁博主猫头虎(🐅🐾)带您GotoNewWorld✨🍁🦄博客首页——🐅🐾猫头虎的博客🎐🐳《面试题大全专栏》🦕文章图文并茂🦖生动形象🐅简单易学!欢迎大家来踩踩~🌺🌊《IDEA开发秘籍专栏》🐾学会ID

热文推荐