オープンソース

Apache HadoopでTensorFlowを動作させる「TensorFlow on YARN(TonY)」リリース

 LinkedIn開発グループは9月12日(現地時間)、Apache Hadoop上でTensorFlowを動作させる「TensorFlow on YARN(TonY)」をリリースした。

 「TensorFlow on YARN(TonY)」は、Apache Hadoo上で分散型機械学習を運用するために開発されたフレームワーク。「TonY」では、リソース・ネゴシエーションやコンテナ構築などのタスク処理を通じてTensorFlowのジョブをできるだけ扱いやすくすることを目指している。TonYは、YARNのリソース管理とジョブスケジューリング機構を応用して、TensorFlowのジョブをHadoopクラスタに割り当てる。また、スケジューリングや、種類に応じたリソース要求(GPU・CPU)の機能を持つほか、TensorFlowのノードに対するメモリー割り当てを変え、ジョブの出力を定期的に保存して、クラッシュや中断が発生した場合でも再開できる。

 TonYはGitHubより入手できる。ライセンスは2条項BSDライセンス。

(川原 龍人/びぎねっと)

[関連リンク]
GitHub