【大数据架构】-- 开源框架技术汇总
国际:Amazon S3、GCP、Microsoft Azure。国内:阿里云、腾讯云。
1.系统平台
Hadoop、CDH、HDP、BigTop
2.监控管理
CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle
3.文件系统
HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio
4.资源管理
YARN、Mesos、K8s
5.协调框架
ZooKeeper 、Etcd、Consul
6.数据存储
HBase、Cassandra、ScyllaDB 、MongoDB、Accumulo 、Redis 、Ignite、Arrow 、Geode、CouchDB、Kudu、CarbonData
7.数据处理
MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron
8.查询分析
Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、 Phoenix
9.数据收集
Flume、Filebeat、Logstash、Chukwa、Fluentd
10、数据交换
Sqoop 、Kettle、DataX 、NiFi、Vector
11.消息系统
Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ
12.任务调度
Azkaban、Oozie、Airflow、DolphinScheduler
13.数据治理
Ranger 、Sentry、Atlas
14.可视化
Kibana 、D3.js、ECharts、Redash、Hue
15.数据挖掘
Mahout 、MADlib 、Spark ML、TensorFlow、Keras
16.云平台
国际:Amazon S3、GCP、Microsoft Azure
国内:阿里云、腾讯云
更多推荐
所有评论(0)