千锋教育-做有情怀、有良心、有品质的职业教育机构

加关注领取全套视频

关注千锋学习站小程序
随时随地免费学习课程

北京(总部)

A - N

北京｜大连｜广州｜成都｜杭州｜长沙｜哈尔滨｜合肥｜贵阳｜南京｜济南

O - Z

上海｜深圳｜武汉｜郑州｜西安｜青岛｜重庆｜太原｜沈阳｜南昌

400-811-9990

首页 品质课程 教研师资 校企服务 技术干货行业资讯职场就业面试题问答库 关于千锋

当前位置：首页 > 关于学院 > 技术干货 > 大数据技术干货 > 正文

Spark的shuffle过程和mr的shuffle过程的区别有哪些？

来源：千锋教育

发布时间：2022-09-28 14:46:00

分享

　　1. MR没有所谓的DAG划分，一次MR任务就意味着一次shufflfflffle;spark则是RDD驱动的，行动算子触发时才会按宽窄依赖划分阶段，只有宽依赖才会发生shuffle。

　　2. MR在reduce端还会进行一次合并排序，spark则在map端就完成了排序，采用Tim-Sort排序算法。

　　3. MR在reduce拉取的数据直接放磁盘再读，spark则是先放内存，放不下才放磁盘

　　4. MR在数据拉取完毕后才开始计算，spark则是边拉边计算(reduceByKey原理)

　　5. 基于以上种种原因，MR自定义分区器时往往还需要自定义分组，spark则不需要(或者说map结构已经是自定义分组了)。

声明：本站稿件版权均属千锋教育所有，未经许可不得擅自转载。

上一篇

HBase读流程：如果读缓存和写缓存的数据不一致，怎么返回？

下一篇

Hive有搭建集群的必要吗？

学习资源站

免费全套视频教程
企业实战项目源码
大厂笔试真题题库
行业前瞻发展趋势

千锋动态

更多 >

千锋教育喜获学科网“2023年度新锐突破奖”，展现卓越课程实力千锋教育重磅发布鸿蒙生态应用开发学习路线图千锋教育HarmonyOS极速入门训练营圆满结营！关于举办2024年技术赋能教学—全国高校“双师型”IT骨干教师寒假高级研修班的通知 “我的青春在千锋——2023“千锋杯”短视频大赛“获奖名单公布千锋正式成立鸿蒙生态教研院，强力助推学员就业！千锋郑州分校2023年冬季IT专场招聘会高效促就业！千锋教育2023冬季招聘会安排官宣 | 千锋教育重磅推出鸿蒙生态开发就业班千锋教育杭州校区助推职业教育发展,许然校长寄语未来

最新问答资讯

更多 >

unity用什么编程语言?unity学习难度大吗 python容易学吗?学好python有什么好处? html是什么语言?html学习难吗? c语言难学吗?c语言学好要多久? ui设计主要学什么内容?自学ui设计难度大吗? 学好平面设计要多久?报速成班靠谱吗? 抖音小店怎么直播带货?从哪儿学靠谱? 抖音如何隐藏关注的人?抖音小店怎么运营? 前端技术有哪些? 计算机前端和后端区别，到底该学哪一个?

相关推荐

kafka集群搭建详细步骤搭建Kafka集群涉及以下步骤：1.**安装和配置Java**：确保每台服务器都安装了适当版本的Java，并设置了正确的环境变量。2.**下载和解压Kafka**：从官方网站下载Kafka的二进制发行

zookeeper安装配置为什么报错？安装和配置ZooKeeper可能会出现各种错误。以下是一些常见的错误和对应的解决方法：1.**连接错误**：在配置ZooKeeper集群时，可能会出现连接错误，例如连接超时、连接被拒绝等。这通常是由于

zookeeper搭建集群要搭建ZooKeeper集群，你需要按照以下步骤进行操作：1.下载和安装ZooKeeper：从ApacheZooKeeper的官方网站下载ZooKeeper的二进制发行版，并根据操作系统的要求进行安装

kafka怎么使用 Kafka是一种高吞吐量、可扩展的分布式消息队列系统，常用于构建实时流数据处理和事件驱动的应用程序。下面是使用Kafka的基本步骤：1.安装和配置Kafka：-下载Kafka：访问ApacheKafk

jointplot()函数的用法是什么？ jointplot() 是 Seaborn 数据可视化库中的一个函数，用于绘制两个变量之间的二维关系，通常是散点图或密度图，同时绘制单变量的直方图或密度图。

highcharts和echarts的区别功能:两个库都提供了丰富的图表类型和交互功能，但是 Highcharts在某些方面比Echarts 更强大，比如地图类型和导出功能。性能:Echarts的渲染速度比 Highcharts 更快，因为它使用了Canvas来绘制图表。

- 千锋学习资源站 -

免费全套视频教程大厂笔试真题题库企业实战项目源码行业前瞻发展趋势

Hello ~

限时学习福利
一键扫码领取

申请线下免费试学

提交领取