HadoopでSlaveの構成がヘテロな場合

Hadoopのクラスタを組んで、Slaveが全て同じスペックではなく、数台スペックが異なるマシンが含まれていた場合。
たとえば、そのスペックの異なる数台のマシンのスペックが高く(搭載コア数が多い)優先的にタスクを割り当てることはできるのだろうか?あるいは、割り当てるタスク数をそのスペックの高いマシンには多く割り当てる様にする。とか。

mapred-site.xmlのmapred.map.tasksの数を変えるだけだとCPUコア単位でなくマシン単位でジョブが均等に割り付けられてしまうのだが…。
この辺りの情報がネットから見つけられない。*1

*1:検索スキルが足りないという話もある...

(Visited 9 times, 1 visits today)

「HadoopでSlaveの構成がヘテロな場合」への1件のフィードバック

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です