有四方面,其实也代表了部分通用大数据底层技术:Z-Suite具有高性能的大数据分析能力,她完全摒弃了向上升级(Scale-Up),全面支持横向扩展(Scale-Out)。
Z-Suite主要通过以下核心技术来支撑PB级的大数据:跨粒度计算(In-DatabaseComputing)Z-Suite支持各种常见的汇总,还支持几乎全部的专业统计函数。
得益于跨粒度计算技术,Z-Suite数据分析引擎将找寻出最优化的计算方案,继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算,我们称之为库内计算(In-Database)。
这一技术大大减少了数据移动,降低了通讯负担,保证了高性能数据分析。并行计算(MPP Computing)Z-Suite是基于MPP架构的商业智能平台,她能够把计算分布到多个计算节点,再在指定节点将计算结果汇总输出。Z-Suite能够充分利用各种计算和存储资源,不管是服务器还是普通的PC,她对网络条件也没有严苛的要求。
作为横向扩展的大数据平台,Z-Suite能够充分发挥各个节点的计算能力,轻松实现针对TB/PB级数据分析的秒级响应。列存储 (Column-Based)Z-Suite是列存储的。基于列存储的数据集市,不读取无关数据,能降低读写开销,同时提高I/O 的效率,从而大大提高查询性能。
大数据技术中管理技术涉及到数据存储、分布式调度等,有:
HBase
HBase是Hadoop的数据库,不同于一般的关系数据库,HBase更适合于非结构化数据存储的数据库,实时读/写访问大数据,优化承载非常大的数据表。
ZooKeeper
ZooKeeper是Hadoop和Hbase的重要组件,是一个为分布式应用提供一致性服务的软件,一种集中式的服务(负载平衡器),提供的功能包括:配置维护、域名服务、分布式同步、组件服务等,并提供团体服务。
想学习大数据技术,是不是首先要知道大数据技术有哪些呢?也好知道自己未来应该往哪个方向发展,应该重点学习哪些知识?
抽象而言,各种大数据技术无外乎分布式存储 + 并行计算。具体体现为各种分布式文件系统和建立在其上的并行运算框架。这些软件程序都部署在多个相互连通、统一管理的物理或虚拟运算节点之上,形成集群(cluster)。因此不妨说,云计算是大数据的基础。
下面介绍几种当前比较流行的大数据技术:
1.Hadoop