ラックは2月20日、生成AIシステムのセキュリティを強化するサービス「生成AI活用システム リスク診断」の提供を開始した。

　「生成AI活用システム リスク診断」は、生成AIを利用したシステムを対象に、生成AI特有の脆弱性が含まれていないかを評価して改善点をレポートする。生成AIを使ったシステムに対して特有のセキュリティ評価を行うことで、安心・安全な生成AIシステムの開発・提供を目指す。

　生成AIを使ったシステムを対象に、特有の脆弱性が含まれていないかを評価して改善点をレポートするサービス。「プロンプトの悪用による機密情報の窃取」、「不適切なコンテンツの表示」、「内部的に設定されたプロンプトなど知的財産の窃取」、「プロンプトの大量入力によるサービス拒否やトークンの過剰消費」などの脆弱性の有無を評価する。このサービスに含まれる評価項目は以下の通り。

〇プロンプトインジェクション・・・システムの設定を回避して、モデルに学習されている機密情報やシステム情報を窃取できてしまう脆弱性
〇ジェイルブレイク・・・システムに設定されたポリシーを回避して、不適切なコンテンツ（攻撃的、または有害なコンテンツ）を回答できてしまう脆弱性
〇プロンプトリーク・・・システムの内部で設定されているプロンプトを窃取できてしまう脆弱性（システム内部のプロンプトは企業の知的財産として保護する必要がある）

(川原 龍人/びぎねっと)

[関連リンク]
リリースノート