Rの並列化の現状について

RとHadoopを併用する並列化ソリューションがようやく実用レベルのとば口の一歩手前まできたカンジがある。昨日発表があった、Revolution Analytics(旧REvolution Comupting)のRとHadoopインテグレーションは、並列化処理速度を目指したというよりは、Hadoopの分散ストレージ(HDFS)をうまく使ってテラバイトサイズのデータを解析できるようにしたソリューションだそうだ。

Revolution Analytics Brings Big Data Analysis to R with R
http://bit.ly/cD1Pf9

ちなみにRevolution Analyticsとしては、以前の多コア対応を謳っていた並列化ソリューションであるParallelRもサポートをつづけるけれど、主力をこちらのほうにシフトするみたいだね。

いままでも、Amazon Web ServiceのEC2にHadoop乗せてRHIPEでRを統合したり、Amazon Elastic MapReduceにのストリーマーとしてRスクリプトを書いたりはできたのだけれど、数GB単位のデータならまだしもテラバイトはちょっとムリというカンジだったから、これでようやくエンタープライズレベルになってきたかもしれない。

RHIPE
http://ml.stat.purdue.edu/rhipe

Amazon Elastic MapReduce
http://aws.amazon.com/elasticmapreduce/

これらのソリューションは、Rのコード自体ではほとんど並列化を意識することがないのだが、並列化を実装する並列化インフラ(HadoopやAmazon Elastic MapReduce)の能力に依存してしまい、効率的にマシンリソースが活用できなくなるという欠点がある。また、並列化インフラの機能制限によって実現ができない処理もあるかもしれない。

ただ、最近はAmazon Elastic MapReduceや以下のClauderaのHadoopディストリビューションがあるので、Hadoopインフラの構築コストが劇的に低下している。

http://www.cloudera.com/hadoop/

だから、HadoopとRをインテグレーションし並列化はHadoopに任せきる、というソリューションの将来はかなり有望になっていると思う。ただそれでも、巨大データをどう扱うか、計算中のログを効率よくとるにはどうするか、計算が途中で破綻したばあいその途中結果から再開させるのはどうするか、多段並列化はどう実装するか等、RをHadoopやAmazon Elastic MapReduceで統合するソリューションには解決するべき細かいことがたくさんある。

それに対して、もう一つのRの並列化ソリューションに、PVMやMPIをつかってRであっても並列化コードを書かせるソリューションがある。これは並列化コードにより多コアや複数マシンをエクスプリシットに使うという方針で、この方針で有名な実装にrpvmやRrmpiそしてsnowやsnowfall、Revolution Anlyticsのforeachなどがある。

rpvm
http://cran.r-project.org/web/packages/rpvm/index.html

Rmpi
http://cran.r-project.org/web/packages/Rmpi/index.html

snow
http://cran.r-project.org/web/packages/snow/index.html

snowfall
http://cran.r-project.org/web/packages/snowfall/index.html

foreach
http://cran.r-project.org/web/packages/foreach/index.html

これらのそれぞれに一長一短があって、どれも決定的ではないのだけれど、いまはsnowをベースに拡張したsnowfallの勢いがあるみたいだ。ただ、並列化コードを書かなければいけないソリューションは、マシンリソースを最大限に利用した効率的な計算ができるけれど、コードを書くのが大変だ。かなり良くできるコーダーでも、少し複雑な計算をしようとしたら一朝一夕ではいかなくなる。

いずれにしろ、Rはもともと並列化マシーナリーを言語としてサポートしていないから、並列化をインフラでやるのかコードでやるのかという、どちらのソリューションを採用するにしても、茨の道が待っているのは間違いない。というか、実際やるとわかるけれど、かなりツライ。このあたり、Erlangのような最初からコンカレントな処理をやることを意識している言語・フレームワークが本当に羨ましいと思う。Rを並列化させる試みはまだまだ始まったばかり、というのが現状の事態だと思う。