Apache Uniffle (Incubating)
Apache Uniffle 是一个适用于分布式计算引擎的高性能、通用型的远程 shuffle 服务。
快速
减少数据 shuffle 过程中的连接数和随机 I/O。
可靠
减少大型任务中出现内存(或磁盘空间)不足的故障。
弹性
支持编排和提高资源利用率。
Spark 支持
支持 Apache Spark 2.3.x, 2.4.x, 3.0.x, 3.1.x, 3.2.x, 3.3.x。
MapReduce/Tez 支持
支持 Apache Hadoop 2.8.x, 3.2.x 和 Apache Tez 0.9.1 的 MapReduce 架构
Kubernetes Operator
扩展 Kubernetes API 从而可以创建、配置和管理 Uniffle 实例。