郑州做网站 熊掌号域名查询 站长查询

目前，在Hive/Spark上运行TPC-DS Benchmark主要是通过早期由Hortonworks维护的一个项目：hive-testbench 来完成的。本文我们以该项目为基础介绍一下具体的操作步骤。不过，该项目仅支持生成ORC和TEXT格式的数据，如果需要Parquet格式，请参考此文《在Hive/Spark上执行TPC-DS基准测试 (Parquet格式）》。

备注：本文使用的Hive/Spark环境为AWS EMR，版本：6.11。本文操作须在EMR Master节点上执行！因为脚本中会使用到hdfs、beeline等命令行工具。

1. 前置条件

hive-testbench是在TPC-DS的官方工具包基础上开发的，所以它的编译和安装与TPC-DS官方工具包的编译和安装类似，在build前需要安装gcc和maven，安装后执行如下命令进行build:

sudo yum -y install git
git clone https://github.com/hortonworks/hive-testbench.g