AI・データサイエンス
Technology Innovation Institute、オープンソースの大規模言語モデル「Falcon」をリリース
「Technology Innovation Institute」は6月5日(現地時間)、オープンソースの大規模言語モデル「Falcon」をリリースした。
公開されているモデルは、400億個のパラメータを有する「Falcon-40B」、および70億個のパラメータを有する「Falcon-7B」モデル。いずれも、事前学習を終えており、利用する前にファインチューニングを行う必要があるという。「Falcon」はトレーニングに用いたデータによって高品質が保たれている。Webから収集した大規模データセット「RefinedWeb」に対し重複排除、フィルタリングを行ってあるという。
「Falcon」は、機械学習データ共有サイト「Hugging Face」にてモデルが公開されている。
(川原 龍人/びぎねっと)
[関連リンク]
Blogによる記事
