SPark无线通信测试工具

Spark 性能优化方案


Spark性能测试工具

•Spark性能测试基准程序Benchmark

– https://github.com/intel-hadoop/HiBench


•Spark性能测试与分析可视化工具

– https://github.com/zhihuili/Dew




性能调优的步骤

1.性能测试,观察系统性能特性

2.资源(CPU、Memory、Disk、Net)利用分析,寻找资源瓶颈,提高资源利用

3.系统架构、代码分析,发现资源利用关键所在

4.代码、架构、基础设施调优,优化、平衡资源利用

5.性能测试,观察系统性能特性



1. Spark任务文件初始化调优

资源分析,发现第一个stage时间特别长,耗时长达14s,CPU和网络通信都有一定开销,不符合应用代码逻辑。

•打开Spark作业log,分析这段时间的Spark运行状况。

•根据log分析结果,阅读Spark相关源码。

•发现Spark在任务初始化加载应用代码的时候,每个Executor都加载一次应用代码,当时每台服务器最多可启动48个Executor,每个应用代码包17M大小,导致加载开销巨大。

•优化方案:Executor加载应用程序包启用本地文件缓存模式。[SPARK-2713]

•优化效果:Stage1运行时间从14s下降到不到1s。

2.Spark任务调度优化

.资源分析,发现stage2只有一台服务器上的CPU被使用,其他服务器CPU完全空闲。

•打开Spark作业log,分析这段时间的Spark运行状况。

•根据log分析结果,阅读Spark相关源码。

•通过源码发现,Spark Driver在任务分配的时候,仅针对当前已经向Driver注册过的Executor进行任务分配,而Executor的注册是有先后的,如果第一个job的任务数比较少,就会出现第一个Worker的Executor注册的时候将所有任务领走的情况。

3.任务分配算法调优

.在做log分析的时候,发现在Executor领取任务的时候,在最后总会有一两个Executor领取的任务是非local的。比如,最后两个任务A[2,3,1]和B[1,3,4],Executor[1][2],当Executor[1]领取了任务A,则Executor[2]领到的任务B就是非local的。

.解决方案:对任务进行偏序排序后再分配[SPARK-2193]

4.OS配置调优

.资源分析,发现服务器大量CPU资源消耗为sys类型

.调查发现,是因为某些Linux版本的transparent hugepage默认为enable状态导致

.优化方案:关闭OS的transparenthugepages

–Echo never > /sys/kernel/mm/transparent_hugepage/enabled

–Echo never > /sys/kernel/mm/ transparent_hugepage/defrag

5.网卡调优

•资源分析,发现大量作业时间消耗在网络传输上。

•解决方案:网卡带宽从1G升级到10G


免责声明:本文系网络转载或改编,未找到原创作者,版权归原作者所有。如涉及版权,请联系删

QR Code
微信扫一扫,欢迎咨询~

联系我们
武汉格发信息技术有限公司
湖北省武汉市经开区科技园西路6号103孵化器
电话:155-2731-8020 座机:027-59821821
邮件:tanzw@gofarlic.com
Copyright © 2023 Gofarsoft Co.,Ltd. 保留所有权利
遇到许可问题?该如何解决!?
评估许可证实际采购量? 
不清楚软件许可证使用数据? 
收到软件厂商律师函!?  
想要少购买点许可证,节省费用? 
收到软件厂商侵权通告!?  
有正版license,但许可证不够用,需要新购? 
联系方式 155-2731-8020
预留信息,一起解决您的问题
* 姓名:
* 手机:

* 公司名称:

姓名不为空

手机不正确

公司不为空