博報堂テクノロジーズは7月21日、オフライン強化学習からオフライン評価、その性能検証までを一貫して行えるソフトウェア「SCOPE-RL」をオープンソースソフトウェアとして公開した。

オフライン強化学習は、主にオフラインで新たな方策を学習するフェーズと、学習した方策の性能を蓄積ログデータを用いて事前評価するフェーズで構成される。これら二つのフェーズを一つのソフトウェアで一貫して実装できることは、オフライン強化学習を実運用する上で非常に重要な一方、それを実現するソフトウェアはこれまで存在していなかった。今回独自に開発したSCOPE-RLにより、より多くのエンジニアがオフライン強化学習の手順を容易かつ正確に実装できるようになり、オフライン強化学習の応用の敷居が下がることが期待される。また本ソフトウェアには、オフライン強化学習やそのオフライン評価に関する最先端のアルゴリズムが多数実装されており、それらを一から実装することなく実務で利用することが可能になる。

今回のソフトウェア公開により、新たな方策を学習したり評価したりする際に売上へ与える悪影響や消費者にとって好ましくない広告が届くリスクを軽減できるようになる。さらに、マーケティング業務において、蓄積データを元にして入稿予算の調整や商品の推薦を判断できるようになる。また強化学習の枠組みは、マーケティング以外にも医療における治療選択やロボティクス、自動運転等に応用可能だという。

(川原 龍人/びぎねっと)

[関連リンク]
プレスリリース(PR TIMES)
ドキュメント
GitHub