`
sunasheng
  • 浏览: 119237 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

Reducer数目最佳值的设定

阅读更多

Reducer数目最佳值的设定

reducer slots的总数 = 集群中的总的节点数*每个节点有多少个slots
Reducer数目的最佳值和reducer slots的数目有关,通常情况下让Reducers的数目略小于reducer slots的数目
在设置Reducer的数目的时候也要考虑Mapper的数量,如果Reducer的数量大于Mapper的数量的话,那么就会造成在执行的过程中多出的Reducer不会工作,造成资源的浪费

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics