使用 YCSB 和 PE 进行 HBase 性能压力测试

2023-09-12 16:34:09

HBase主要性能压力测试有两个，一个是 HBase 自带的 PE，另一个是 YCSB，先简单说一个两者的区别。PE 是 HBase 自带的工具，开箱即用，使用起来非常简单，但是 PE 只能按单个线程统计压测结果，不能汇总整体压测数据，更重要的是，PE 没有 YCSB 的 预设模板（Workload） 功能，测试场景单一，相较而言，YCSB 要强大的多，它的 Workload 功能非常实用，可以模拟更贴近实际使用场景的压力状况。下面分解介绍一下两款工具的使用方法。

1. YCSB

官方文档： https://github.com/brianfrankcooper/YCSB/blob/master/asynchbase/README.md

1.1 全局配置

hbaseYcsbUrl="https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-hbase20-binding-0.17.0.tar.gz"
hbaseYcsbPkg=$(basename $hbaseYcsbUrl)
hbaseYcsbDir=$(basename $hbaseYcsbUrl ".tar.gz")
export YCSB_HOME="/opt/$hbaseYcsbDir"

1.2. 下载

下载地址： https://github.com/brianfrankcooper/YCSB/releases

wget $hbaseYcsbUrl -P /tmp/
sudo tar -xzf /tmp/$hbaseYcsbPkg -C /opt
$YCSB_HOME/bin/ycsb -h

1.3. 建表

cat << EOF | hbase shell
disable 'usertable'
drop 'usertable'
n_splits = 30 # HBase recommends (10 * number of regionservers)
create 'usertable', 'cf', {SPLITS => (1..n_splits).map {|i| "user#{1000+i*(9999-1000)/n_splits}"}}
describe 'usertable'
EOF

1.4. 加载数据

$YCSB_HOME/bin/ycsb load hbase20 -cp /etc/hbase/conf/ -p columnfamily=cf -P $YCSB_HOME/workloads/workloada

上述数据加载使用的是方案/模板：workloada（就是一个properties文件），该方案默认写入1000条记录，并执行1000次操作（read，update，scan等），用户可以自定插入的数据量和操作次数，例如：-p recordcount=10000 -p operationcount=10000。这里再详细说明 一下recordcount和operationcount两个属性：

  • recordcount ：总的插入数据量，写入数据的操作不会算到operationcount里面
  • operationcount：总的操作次数，操作被分成了read、update、scan、insert四种类型，可以在配置中设定它们之间的比例，但总的操作次数是由operationcount控制的

1.5. 确认数据是否加载成功

cat << EOF | hbase shell
scan 'usertable'
EOF

1.6. 选择压测模板（Workload）

上述加载数据的测试仅仅是一个“冒烟”测试，实际进行压测前，要根据目标场景选择一个相匹配的 Workload，当然，也可以完全自定义 Workload，以下是存放在$YCSB_HOME/workloads下的6种预定义的 Workload:

Workload预制方案说明
workloada50% 读 50% 更新，读写均衡
workloadb95% 读 5% 更新，读多写少，多数系统比较符合这种场景
workloadc100% 读
workloadd95% 读 5% 插入，读最近更新，越新的纪录读取概率越大（requestdistribution=latest）
workloade95% 扫描 5% 插入，小范围查询（重Scan），不是点查
workloadf50% 读，50% 读取-修改-写入，即：读取一个纪录，然后修改这个纪录，最后写回

1.7. 正式压测

了解了上述不同类型的 Workload 后，选择一个符合自身集群使用场景的 Workload，然后就可以正式压测了，以下以workloadb为例：

nohup $YCSB_HOME/bin/ycsb run hbase20 \
    -cp /etc/hbase/conf/ \
    -p columnfamily=cf \
    -p recordcount=10000000 \
    -p operationcount=10000000 \
    -P $YCSB_HOME/workloads/workloadb \
    -threads 3 \
    -s &> nohup.out &
tail -f nohup.out

压测执行完毕后会给出类似下图的压测报告：

在这里插入图片描述

2. PE

PE只能统计每个线程执行的情况，不能统计整体的状态，所以还是推荐使用YCSB。

2.1 建表并执行测试

cat << EOF | hbase shell
create 'test-table', {NAME => 'f', REPLICATION_SCOPE=>'1'}
EOF

hbase pe --nomapred --oneCon=true --table=test-table --rows=1000000 --valueSize=100 --compress=SNAPPY --presplit=16 --autoFlush=true randomWrite 16

PE的测试报告并不在控制台直接输出（这一点不太好），而是写入到了HBase的LOG文件，如果是EMR，会写到/var/log/hbase/hbase.log中，PE会分别打出每个线程的延迟状况，类似下面这样：
在这里插入图片描述

3. 附录

3.1. PE 命令行参数

General Options:
 nomapred        采用MapReduce的方式启动多线程测试还是通过多线程的方式，如果没有安装MapReduce，或者不想用MapReduce，通常我们采用多线程的方式，因此一般在命令中加上--nomapred来表示不使用MapReduce。  
 rows            每个客户端(线程)运行的行。默认值：一百万。注意这里的行数是指单线程的行数，如果rows=100， 线程数为10，那么在写测试中，写入HBase的将是 100 x 10 行  
 size            总大小,单位GiB。与--rows互斥。默认值：1.0。  
 sampleRate      样本比例:对总行数的一部分样本执行测试。只有randomRead支持。默认值：1.0  
 traceRate       启用HTrace跨度。每N行启动一次跟踪。默认值：0  
 table           测试表的名字，如果不设，默认为TestTable。  
 multiGet        如果> 0，则在执行RandomRead时，执行多次获取而不是单次获取。默认值：0  
 compress        要使用的压缩类型（GZ，LZO，...）。默认值：'无'  
 flushCommits    该参数用于确定测试是否应该刷新表。默认值：false  
 writeToWAL      在puts上设置writeToWAL。默认值：True  
 autoFlush       默认为false，即PE默认用的是BufferedMutator，BufferedMutator会把数据攒在内存里，达到一定的大小再向服务器发送，如果想明确测单行Put的写入性能，建议设置为true。个人觉得PE中引入autoFlush会影响统计的准确性，因为在没有攒够足够的数据时，put操作会立马返回，根本没产生RPC，但是相应的时间和次数也会被统计在最终结果里。  
 oneCon          多线程运行测试时，底层使用一个还是多个链接。这个参数默认值为false，每个thread都会启一个Connection，建议把这个参数设为True  
 presplit        表的预分裂region个数，在做性能测试时一定要设置region个数，不然所有的读写会落在一个region上，严重影响性能  
 inmemory        试图尽可能保持CF内存的HFile。不保证始终从内存中提供读取。默认值：false  
 usetags         与KV一起写标签。与HFile V3配合使用。默认值：false  
 numoftags       指定所需的标签号。仅当usetags为true时才有效。  
 filterAll       通过不将任何内容返回给客户端，帮助过滤掉服务器端的所有行。通过在内部使用FilterAllFilter,帮助检查服务器端性能。  
 latency         设置为报告操作延迟。默认值：False  
 bloomFilter     Bloom 过滤器类型，[NONE，ROW，ROWCOL]之一  
 valueSize       写入HBase的value的size，单位是Byte，大家可以根据自己实际的场景设置这个Value的大小。默认值：1024  
 valueRandom     设置是否应该在0和'valueSize'之间改变值大小;设置读取大小的统计信息：默认值: Not set.  
 valueZipf       设置是否应该以zipf格式改变0和'valueSize'之间的值大小, 默认值: Not set.  
 period          报告每个'period'行：默认值：opts.perClientRunRows / 10  
 multiGet        批处理组合成N组。只有randomRead支持。默认值: disabled  
 replicas        启用区域副本测试。默认值：1。  
 splitPolicy     为表指定自定义RegionSplitPolicy。  
 randomSleep     在每次获得0和输入值之前进行随机睡眠。默认值：0  

 Note: -D properties will be applied to the conf used.   
  For example:   
   -Dmapreduce.output.fileoutputformat.compress=true  
   -Dmapreduce.task.timeout=60000  

Command:  
 filterScan      使用过滤器运行扫描测试，根据它的值查找特定行（确保使用--rows = 20）   
 randomRead      运行随机读取测试  
 randomSeekScan  运行随机搜索和扫描100测试  
 randomWrite     运行随机写测试  
 scan            运行扫描测试（每行读取）  
 scanRange10     使用开始和停止行（最多10行）运行随机搜索扫描  
 scanRange100    使用开始和停止行运行随机搜索扫描（最多100行）  
 scanRange1000   使用开始和停止行（最多1000行）运行随机搜索扫描  
 scanRange10000  使用开始和停止行运行随机搜索扫描（最多10000行）  
 sequentialRead  运行顺序读取测试  
 sequentialWrite 运行顺序写入测试  

Args:  
 nclients        整数。必须要有该参数。客户端总数（和HRegionServers）  
running: 1 <= value <= 500  
Examples:  
 运行一个单独的客户端:  
 $ bin/hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1

3.2. 百分位数值（Percentile）：P99，P999

百分位数值是一个统计学中的术语，通俗一点解释是：把所有的请求响应时间按从小到大的顺序排列起来，排在某个百分比位置上的请求响应时间就是这个百分比对应的百分位数值。举个例子就是明白了：

P99：响应耗时从小到大排列，处在99%位置上的耗时即为P99值。假设该值为200ms，就意味着：99%的用户的响应耗时在200ms之内，只有1%的用户的响应耗时大于200ms

P99.9 ( P999 )：许多互联网公司会采用P99.9值，也就是99.9%的用户耗时作为指标，通过测量与优化该值，就可保证绝大多数用户的使用体验。 至于P99.99值，优化成本过高，而且服务响应由于网络波动、系统抖动等不能解决之情况，因此大多数时候都不考虑该指标。

参考资料：

https://hbase.apache.org/book.html#hbase_metrics

https://hbase.apache.org/book.html#offheap_read_write

https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/hbase-metrics

https://www.cnblogs.com/felixzh/p/10246335.html

https://cloud.tencent.com/developer/article/1596748

更多推荐

Foxit PDF SDK Windows 9.1 Crack

FoxitPDFSDK变更日志Windows/Linux/Mac2023年8月新功能/增强功能在开始签名之前设置外观。支持使用共享字典添加签名。允许在调用Signature::StartSign()之前增量保存文档。在签名前修改现有未签名分页印章签名的外观。支持使用共享字典添加分页签名。忽略全角字符搜索。删除无效的PD

HTTP反爬困境

尊敬的程序员朋友们，大家好！今天我要和您分享一篇关于解决反爬困境的文章。在网络爬虫的时代，许多网站采取了反爬措施来保护自己的数据资源。然而，作为程序员，我们有着聪明才智和技术能力，可以应对这些困境并确保数据的安全性。本文将重点介绍如何通过HTTP协议和IP地址来应对反爬挑战，让我们一起深入探讨吧！1.了解HTTP协议H

Jenkins自动化测试

学习Jenkins自动化测试的系列文章RobotFramework概念RobotFramework安装Pycharm+RobotFramework环境搭建RobotFramework介绍Jenkins自动化测试1.RobotFramework概念RobotFramework是一个基于Python的，可扩展的关键字驱动的

nginx配置指南

nginx.conf配置找到Nginx的安装目录下的nginx.conf文件，该文件负责Nginx的基础功能配置。配置文件概述Nginx的主配置文件(conf/nginx.conf)按以下结构组织：配置块功能描述全局块与Nginx运行相关的全局设置events块与网络连接有关的设置http块代理、缓存、日志、虚拟主机等

RISV-V架构的寄存器介绍

1、RISC-V的通用寄存器（1）在编写汇编代码时，使用寄存器的ABI名字，一般不直接使用寄存器的编号；（2）x0-x31是用来做整形运算的寄存器，f0-f31是用来做浮点数运算的寄存器；RISC-V一定有x0-x31寄存器，但是不一定有f0-f31寄存器，这要看支不支持浮点数运算；（3）保存者：调用者保存就是在函数跳

关系型数据库和非关系型数据库

关系型数据库和非关系型数据库关系型数据库非关系型数据库非关系型数据库和关系型数据库是两种不同类型的数据库管理系统，它们用于存储和管理数据，但在数据组织和处理方式上有一些重要的区别。关系型数据库1.结构化数据存储：关系型数据库以表格形式存储数据，数据以行和列的方式组织，每个表都有预定义的模式（也称为模式或架构），这意味着

Hive参数与性能调优-V2.0

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数仓，所以Hive性能调优是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive性能调优的一些方法及技巧。一、Hive性能调优的方式

论文阅读之Learning and Generalization of Motor Skills by Learning from Demonstration

论文阅读其实就是用自己的话讲一遍，然后理解其中的方法0、论文基本信息为什么阅读此篇论文：因为它是DMP经典论文，被引多次，学史可以明智，了解最初机理。论文题目：LearningandGeneralizationofMotorSkillsbyLearningfromDemonstration会议名称：2009ICRA论文

Zookeeper集群 + Kafka集群

Zookeeper概述Zookeeper定义Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变

《计算机视觉中的多视图几何》笔记（1）

1Introduction–aTourofMultipleViewGeometry本章介绍了本书的主要思想。1.1Introduction–theubiquitousprojectivegeometry为了了解为什么我们需要射影几何，我们从熟悉的欧几里得几何开始。欧几里得几何在二维中认为平行线是不会相交的，解决这个问题

【Linux网络编程】日志与守护进程

日志是网络服务器程序在后台以守护进程的形式运行时，处理情况的描述被打印到了日志文件里面，方便维护人员查看。1.前台进程与后台进程左边会话输入命令sleep10000&代表进程后台运行，右边会话输入命令sleep20000可以看到命令行解释器直接卡住了。STATS+就是前台进程的意思，STATS就是后台进程。可以看到后台

热文推荐
  1. 51单片机项目（12）——基于51单片机的智能台灯设计

    本次设计的功能如下：首先使用PCF8591芯片，实现了ADDA转换，AD采集的是光敏电阻的信息，光照强度越强，电压越小，AD采集到的数值越小。同时将AD采集的数字量作为DA输出时的输入量，模拟输出端接了一个LED，用以指示输出模拟量的大小，输出模拟量越大，LED就越亮。所以这一部分的工作过程如下：当光照强度太弱时，AD

  2. 【C++】构造函数初始化列表 ② ( 构造函数 为 初始化列表 传递参数 | 类嵌套情况下 的 构造函数 / 析构函数 执行顺序 )

    文章目录一、构造函数为初始化列表传递参数1、构造函数参数传递2、代码示例-构造函数参数传递二、类嵌套情况下的构造函数/析构函数执行顺序1、构造函数/析构函数执行顺序2、代码示例-构造函数执行顺序一、构造函数为初始化列表传递参数1、构造函数参数传递构造函数初始化列表还可以使用构造函数中的参数;借助构造函数中的参数列表,可

  3. C++零基础教程（C++中的类1）

    文章目录前言一、初始化列表二、类中的const成员三、析构函数四、临时对象总结前言本篇文章我们继续来讲解C++中的类。一、初始化列表初始化列表是在C++类的构造函数中使用的一种特殊语法。它允许在对象创建时对成员变量进行初始化。通常，在构造函数的函数体中，我们会使用赋值操作符（=）来对成员变量进行初始化。然而，初始化列表

  4. 计算机竞赛 机器视觉的试卷批改系统 - opencv python 视觉识别

    文章目录0简介1项目背景2项目目的3系统设计3.1目标对象3.2系统架构3.3软件设计方案4图像预处理4.1灰度二值化4.2形态学处理4.3算式提取4.4倾斜校正4.5字符分割5字符识别5.1支持向量机原理5.2基于SVM的字符识别5.3SVM算法实现6算法测试7系统实现8最后0简介🔥优质竞赛项目系列，今天要分享的是

  5. SpringBoot + Prometheus + Grafana 打造可视化监控

    SpringBoot+Prometheus+Grafana打造可视化监控文章目录SpringBoot+Prometheus+Grafana打造可视化监控常见的监控组件搭配安装Prometheus安装Grafana搭建SpringBoot项目引入依赖示例:监控SpringBoot内置Tomcat线程池的情况grafana

  6. 从实时监控到智能洞察：Grafana 和 CnosDB 的无限潜力

    在今天的数字化世界中，监控系统对于维护应用程序和基础设施的稳定性至关重要。本文将介绍如何使用Grafana和CnosDB构建强大的监控体系，以便实时监视性能、发现问题并采取及时的措施。CnosDB已正式上架Grafana插件市场Grafana：开源监控和仪表工具Grafana是一款流行的开源监控和仪表工具，它提供了丰富

  7. 传统制造型企业如何实现数字化转型？

    传统制造企业可以通过采用技术和数据驱动的方法来实现数字化转型，以改善运营、提高效率并在快速发展的行业中保持竞争力。以下是他们可以遵循的步骤和策略：1.评估和战略制定：评估当前状态：首先评估制造流程、技术基础设施和数据管理系统的当前状态。确定需要改进的领域。定义目标：明确定义数字化转型的目的和目标。你想实现什么目标？它可

  8. 7年阿里测试经验之谈 —— 用UI自动化测试实现元素定位

    随着IT行业的发展，产品愈渐复杂，web端业务及流程更加繁琐，目前UI测试仅是针对单一页面，操作量大。为了满足多页面功能及流程的需求及节省工时，设计了这款UI自动化测试程序。旨在提供接口，集成到蜗牛自动化测试框架，方便用例的设计。目前，在自动化测试的实际应用中，接口自动化测试被广泛使用，但UI自动化测试也并不会被替代。

  9. 五分钟k8s实战-使用Ingress

    ingress.png背景前两章中我们将应用部署到了k8s中，同时不同的服务之间也可以通过service进行调用，现在还有一个步骤就是将我们的应用暴露到公网，并提供域名的访问。这一步类似于我们以前配置Nginx和绑定域名，提供这个能力的服务在k8s中成为Ingress。通过这个描述其实也能看出Ingress是偏运维的工