ITKeyword,专注技术干货聚合推荐

注册 | 登录

Spark钨丝计划:让火花(Spark)更接近灯丝(Rare Metal)详解(2)

相关推荐:Spark钨丝计划:让火花(Spark)更接近灯丝(Rare Metal)详解(3)

本文主要内容包括: 1,到底什么是page 2,page具体的两种 实现方式 3,page使用源码详解一:Tungsten中到底什么是Page? 1, 在Spark其实不存在Page这个

本文主要内容包括 : “钨丝计划”的shuffle的使用一:使用Tungsten功能

1, 如果想让您的程序使用Tungsten的功能,可以配置:

Spark.Shuffle.Manager = tungsten-sort 2, DataFrame中自动开启了Tungsten功能。二:Tungsten-sort base Shuffle writer内幕

1,写数据在内存足够大的情况下是写到Page里面,在Page里面有一条条的Record,如果内存不够的话,会spill到磁盘上,输入数据的时候是循环每个Task中处理的数据Partition的结果,循环的时候会查看是否有内存,一个Page写满之后,才会写下一个Page。2,如何看内存是否足够呢? a)系统默认情况下给 shuffleMapTask 最大准备了多少内存空间,默认情况下是ExecutorHeapMemory*0.8*0.2

(spark.shuffle.memoryFraction = 0.2 , spark.shuffle.safeFraction = 0.8)b)另外一方面是和Task处理的Partition大小紧密相关 写入的过程图: 1,mergeSpills的功能是将很多小文件合并成一个大文件。然后加上index文件索引。 2,和Sort Based Shuffle 过程基本一样。 3, 写数据在内存足够大的情况下是写到Page里面,在Page中有一条条的Record,如果内存不够的话会Spill到磁盘中。此过程跟前面讲解Sort base Shuffle writer过程是一样的。 4,基于UnsafeShuffleWriter会有一个类负责将数据写入到Page中。 5, ins

相关推荐:第51课:Spark性能优化第七季之钨丝计划解密

本篇博文主要讲解内容如下:

1. 钨丝计划的产生的原因

2. 钨丝计划内幕详解 安排:

钨丝计划主要分为三篇博文进行详解,本博文主要是对钨丝计划

ertRecordIntoSorter: 此方法把records的数据一条一条的写入到输出流。 而输出流是: ByteArrayOutputStream四:Tungsten-sort base Shuffle Read原理

基本上是复用了Hash Shuffle Read,

在Tungsten下获取数据的类叫做BlockStoreShuffleReader,其底层其实是Pag

$(function () {

$('pre.prettyprint code').each(function () {

var lines = $(this).text().split('\n').length;

var $numbering = $('<ul/>').addClass('pre-numbering').hide();

$(this).addClass('has-numbering').parent().append($numbering);

for (i = 1; i <= lines; i++) {

$numbering.append($('<li/>').text(i));

};

$numbering.fadeIn(1700);

});

});

相关推荐:Spark钨丝计划:让火花(Spark)更接近灯丝(Rare Metal)详解(1)

本文主要包括如下几个内容: 1,钨丝计划 产生根本背景 2,钨丝计划的内幕详解一:钨丝计划是从Spark项目成立以来,对Spark执行引擎最大一次改进。它关注于

本文主要内容包括 : “钨丝计划”的shuffle的使用一:使用Tungsten功能 1, 如果想让您的程序使用Tungsten的功能,可以配置: Spark.Shuffle.Manager = tungsten-sort 2, DataFrame中...

相关阅读排行


用户评论

游客

相关内容推荐

最新文章

×

×

请激活账号

为了能正常使用评论、编辑功能及以后陆续为用户提供的其他产品,请激活账号。

您的注册邮箱: 修改

重新发送激活邮件 进入我的邮箱

如果您没有收到激活邮件,请注意检查垃圾箱。