1.前言

回顾从前，已经在大数据领域混了5年了，经手了不少大数据集群搭建方案，自己也做过许多大数据平台的运维工作，在这里进行阶段性的总结。

2.大数据集群方案对比

简单直接，这里站在生产环境的角度考虑如何选择集群搭建方案，大致有如下几个维度：

对比项	原生Hadoop	CDH	HDP(Ambari)
是否开源	完全开源	收费/免费（可商用）	开源
安装方式	手动	工具	工具
适用集群规模	10个节点以内	n个节点	n个节点
搭建复杂度	困难	容易	容易
运维难度	困难	容易	中等
市场占有率	低	高	中
所属机构	Apache	Cloudera	Hortonwork

接下来进行一些扩展：

CDP

CDP是 2018年 Cloudera与 Hortonworks以 52亿美元价格宣布合并之后，新公司所发布的首款新产品，也是一个基于云的大数据平台，需要付费使用。至此，CDH 6.x就是最后一个版本了，HDP也不会更新了，后面就只有 CDP了。
国内商用大数据平台

笔者接触的国内商用大数据平台有：

华为 FusionInsight和腾讯 TBDS两家，其中华为FI落地是在上海，集群规模 100+，根据业务特点，单独部署了 Spark集群和 HBase集群；腾讯 TBDS落地在江苏，集群规模 50+，据说腾讯这个是基于 Ambari进行二次开发的，整体易用性和稳定性都很不错。

对于集群搭建方案的选择，这里笔者也给出一些自己的看法：

CDH ——国内公司首选

节点数量不多，小于 50个节点，基本不会对组件进行修改，重点在于大数据应用的开发，选它。
HDP

可能会对组件进行调整，不满于 CDH免费版的一些限制，选它。
原生 Hadoop ——完全开源

集群规模小，比如内部开发环境；需要修改组件源码，做一些定制化，选它。
商用大数据平台

项目或者产品的预算够，选它。

3.总结

笔者上一家公司第一代大数据平台使用的是 CDH免费版，因为其中的不少限制，第二代大数据平台选择了开放性更好的 HDP（Ambari）。现公司，原生 Hadoop和 CDH并存，为什么呢？信创。由于信创机器的限制，CDH无法在上面部署，而原生的 Hadoop我们团队亦进行了部分源码修改才得以正常运行。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：第一部分——简单句——第一章——简单句的核心——第二节简单句的核心变化——情态,语态，否定（强调）

下一篇：数据链路层

热门资讯

linux入门---制作进度条了解缓冲区我们首先来看看下面的操作：我们首先创建了一个文件并在这个文件里面添加了...

C++ 机房预约系统（六）：学... 8、学生模块 8.1 学生子菜单、登录和注销实现步骤：在Student.cpp的...

A.机器学习入门算法（三）：基... 机器学习算法（三）：K近邻(k-nearest neigh...

数字温湿度传感器DHT11模块... 模块实例https://blog.csdn.net/qq_38393591/article/deta...

有限元三角形单元的等效节点力文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数（Nÿ...

Redis 所有支持的数据结构... Redis 是一种开源的基于键值对存储的 NoSQL 数据库，支持多种数据结构。以下是...

win下pytorch安装—c... 安装目录一、cuda安装1.1、cuda版本选择1.2、下载安装二、cudnn安装三、pytorch...

MySQL基础-多表查询文章目录MySQL基础-多表查询一、案例及引入1、基础概念2、笛卡尔积的理解二、多表查询的分类1、等...

keil调试专题篇调试的前提是需要连接调试器比如STLINK。然后点击菜单或者快捷图标均可进入调试模式。如果前面...

MATLAB | 全网最详细网... 一篇超超超长，超超超全面网络图绘制教程，本篇基本能讲清楚所有绘制要点&#...

IHome主页 - 让你的浏览... 随着互联网的发展，人们越来越离不开浏览器了。每天上班、学习、娱乐，浏览器...

TCP 协议一、TCP 协议概念 TCP即传输控制协议（Transmission Control ...

营业执照的经营范围有哪些营业执照的经营范围有哪些经营范围是指企业可以从事的生产经营与服务项目，是进行公司注册...

C++ 可变体(variant... 一、可变体(variant) 基础用法 Union的问题：无法知道当前使用的类型是什...

血压计语音芯片，电子医疗设备声... 语音电子血压计是带有语音提示功能的电子血压计，测量前至测量结果全程语音播报࿰...

MySQL OCP888题解0... 文章目录1、原题1.1、英文原题1.2、答案2、题目解析2.1、题干解析2.2、选项解析3、知识点3...

【2023-Pytorch-检... （肆十二想说的一些话）Yolo这个系列我们已经更新了大概一年的时间，现在基本的流程也走走通了，包含数...

实战项目：保险行业用户分类这里写目录标题1、项目介绍1.1 行业背景1.2 数据介绍2、代码实现导入数据探索数据处理列标签名异...

记录--我在前端干工地(thr... 这里给大家分享我在网上总结出来的一些知识，希望对大家有所帮助前段时间接触了Th...

43 openEuler搭建A... 文章目录43 openEuler搭建Apache服务器-配置文件说明和管理模块43.1 配置文件说明...

大数据集群搭建方案对比

1.前言

2.大数据集群方案对比

3.总结

相关内容

热门资讯