オープンソース
BentoML、オープンソースの大規模言語モデルプラットフォーム「OpenLLM 0.1.6」をリリース
BentoMLは6月17日(現地時間)、オープンソースの大規模言語モデルプラットフォーム「OpenLLM 0.1.6」をリリースした。
「OpenLLM」は、本番環境で大規模言語モデル（LLM）を実行、展開、監視するためのオープンプラットフォーム。Alache License 2.0の下でオープンソースソフトウェアとして公開されている。
「OpenLLM 0.1.6」では、配信中に量子化を有効化できるようになったほか、トップレベルのCLIがリファクタリングされるなど、いくつかの機能強化が施されている。
「OpenLLM 0.1.6」は、GitHubから入手できる。
(川原 龍人/びぎねっと)
[関連リンク]
アナウンス(GitHub)
