大数据行业常用框架

Posted by AlstonWilliams on April 21, 2019

分布式文件系统

  • HDFS
  • Alluxio

分布式RDBMS

  • Kudu
  • TeraData

分布式时序数据库

  • Druid
  • OpenTSDB

分布式数据分析引擎

  • MapReduce
  • Spark
  • Tez

分布式SQL

  • Hive
  • SparkSQL
  • Impala
  • Presto
  • Phoniex
  • Drill
  • HWAQ(支持事务)
  • Trafodion(支持事务)

文档存储引擎

  • MongoDB
  • ElasticSearch
  • CouchDB

分布式列式存储系统

  • HBase
  • Cassandra

分布式流式计算引擎

  • Flink
  • Spark Streaming
  • Storm
  • Kafka

分布式数据摄入工具

  • FLume
  • Sqoop

分布式OLAP框架

  • Druid
  • Kylin
  • Pinot
  • PolsarIO

分布式消息队列

  • Kafka

分布式调度系统

  • YARN
  • Mesos

分布式协调系统/键值系统

  • ZooKeeper
  • Etcd
  • Consul

全文检索引擎

  • ElasticSearch
  • Solr
  • Lucence

SQL操作可视化界面

  • Hue
  • Zeeplin

RPC

  • GRPC
  • Protobuf
  • Avro
  • Thirft
  • JMI
  • Akka
  • Hession

数据流调度系统

  • Azkaban
  • Nifi
  • Oozie

SQL相关

  • Antlr
  • Apache Calcite