HadoopでSlaveの構成がヘテロな場合

  • このエントリーをはてなブックマークに追加

Hadoopのクラスタを組んで、Slaveが全て同じスペックではなく、数台スペックが異なるマシンが含まれていた場合。
たとえば、そのスペックの異なる数台のマシンのスペックが高く(搭載コア数が多い)優先的にタスクを割り当てることはできるのだろうか?あるいは、割り当てるタスク数をそのスペックの高いマシンには多く割り当てる様にする。とか。

mapred-site.xmlのmapred.map.tasksの数を変えるだけだとCPUコア単位でなくマシン単位でジョブが均等に割り付けられてしまうのだが…。
この辺りの情報がネットから見つけられない。*1

*1:検索スキルが足りないという話もある...

(Visited 18 times, 1 visits today)
  • このエントリーをはてなブックマークに追加

SNSでもご購読できます。

コメント

  1. maruta3 より:

    寿司いいなぁ。。。寿司。。。。

maruta3 へ返信する コメントをキャンセル

*