Hadoopのクラスタを組んで、Slaveが全て同じスペックではなく、数台スペックが異なるマシンが含まれていた場合。
たとえば、そのスペックの異なる数台のマシンのスペックが高く(搭載コア数が多い)優先的にタスクを割り当てることはできるのだろうか?あるいは、割り当てるタスク数をそのスペックの高いマシンには多く割り当てる様にする。とか。
mapred-site.xmlのmapred.map.tasksの数を変えるだけだとCPUコア単位でなくマシン単位でジョブが均等に割り付けられてしまうのだが…。
この辺りの情報がネットから見つけられない。*1
*1:検索スキルが足りないという話もある...
(Visited 27 times, 1 visits today)
寿司いいなぁ。。。寿司。。。。