[关闭]
@liyuj 2018-01-27T11:08:47.000000Z 字数 723 阅读 1763

Apache-Ignite-2.3.0-中文开发手册

1.介绍

1.1.摘要

Ignite可以无缝地与Hadoop和Spark集成,其中Ignite与Hadoop的集成可以将IGFS(Ignite文件系统)作为存储于HDFS中的数据的主要缓存层,Ignite与Spark的集成可以使用一个Spark RDD的实现在内存中跨多个Spark作业共享状态。
Ignite与Spark
Ignite提供了一个Spark RDD抽象层的实现,它可以轻易地在内存中跨多个Spark作业共享状态。Spark原生RDD和IgniteRDD的主要不同是IgniteRDD提供了一个跨不同Spark作业、workers或者应用的数据内存共享视图,而原生的SparkRDD无法被其它的Spark作业或者应用看到。

内存文件系统
Ignite的一个独特功能是它有一个分布式的内存文件系统,叫做Ignite文件系统(IGFS),IGFS的功能类似于Hadoop的HDFS,但是仅仅保存在内存中。事实上,除了它本身的API,IGFS还实现了Hadoop文件系统API,因此可以将其轻易地嵌入Hadoop或者Spark应用。

内存MapReduce
Ignite的内存MapReduce可以高效地对存储于任何Hadoop文件系统中的数据进行并行处理。当进行低延迟、HPC模式的分布式处理时,它消除了标准Hadoop架构中与作业跟踪器和任务跟踪器有关的开销。

Hadoop加速器
Ignite的Hadoop加速器提供了一组在内存中进行Hadoop作业执行以及文件系统操作的组件。它可以用于组合Ignite文件系统以及内存MapReduce,也可以轻易地将其嵌入任何Hadoop发行版。

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注