基盤モデル

基盤モデル（Foundation Model）

基盤モデルは、自己教師あり学習や半教師あり学習を用いて、大規模なデータセットから訓練された人工知能モデルを指します。これらのモデルは、さまざまな下流タスクに応じた応用が可能であり、現代のAIシステムの重要な要素として機能しています。例えば、著名なチャットボットやユーザー向けのAI製品においては、基盤モデルが大きな役割を果たしています。この用語は、スタンフォード大学の人間中心AI研究所（HAI）の基盤モデル研究センター（CRFM）が広めたものです。

定義

基盤モデルの概念は、2021年8月に形成されました。その際、HAIのCRFMは「一般に大規模な自己教師学習によって幅広いデータで訓練され、下流のさまざまなタスクに適応できる全てのモデル」を指す用語として基盤モデルを定義しました。これは、特に言語に特化した大規模言語モデルという表現では不十分であることから、より広範な用語として用いられることになりました。

歴史

2023年12月には、Googleが新たな基盤モデル「Gemini」を発表しました。このモデルは、様々な一般的なタスクにおいて専門家の意見を上回る精度を持ち、科学文献の分析も可能であると主張されています。これは、基盤モデルの進化における一つの重要なマイルストーンとなりました。

個別化された基盤モデル

基盤モデルは広範なデータセットに基づいて事前に訓練されているため、特定の分野や概念に特化したタスクを行うことは難しいです。しかし、個別の項目に対する適応を行うために、モデル全体を再訓練することなく補強する手法が開発されています。たとえば、few-shot画像検索では、視覚と言語の基盤モデル（CLIP）の語彙に新しい概念を追加するアプローチが採用されています。また、テキスト画像生成においても、テキスト反転と呼ばれる手法が存在し、これによって新しい概念を学び既存の概念と組み合わせることが可能になります。

機会とリスク

基盤モデルに関する2021年のarXivにおいては、これらのモデルが持つ能力や技術的原則、さらには応用分野に関しての多様な観点が記載されています。特に「言語、資格、ロボット工学、推論、人間との対話」といった分野における基盤モデルの能力が重要視されています。また、モデルのアーキテクチャや訓練方法、データセキュリティや評価基準に関する技術直列も議論されています。さらに、法的・倫理的問題や社会への影響についての考察も重要です。

エコノミスト誌では、基盤モデルに関する経済的および政治的権力がさらに集中することへの懸念が表明されており、人工知能の進化がどのように社会に影響を与えるのか、注視する必要があります。

関連項目

• - 大規模言語モデル
• - 生成的人工知能
• - 人工知能

基盤モデルの発展は、人工知能の未来を形作る重要な要素となっており、今後の研究が期待されます。

もう一度検索