LLaMA

Llama（ラマ）とは

Llama（Large Language Model Meta AI）は、Meta社が開発した大規模[[言語モデル]]（LLM）です。2018年以降の言語モデリングで標準となっているTransformerアーキテクチャを採用しています。当初の名称はLLaMAでしたが、2023年7月18日のLlama 2のリリースに伴い、Llamaに変更されました。

LLaMA (初代)

初代LLaMAは、70億パラメータ（7B）から650億パラメータ（65B）まで、複数のサイズで開発されました。論文によると、LLaMA-13BはGPT-3-175Bを多くの自然[[言語処理]]ベンチマークで上回り、LLaMA-65BはGoogleのPaLM-540BやDeepMindのChinchilla-70Bといった当時の最先端モデルに匹敵する性能を示しました。

トレーニングデータ

LLaMAの開発では、モデルの性能向上において、パラメータ数よりもトレーニングデータの量を増やすことに重点が置かれました。これは、トレーニングプロセスよりも推論コストが支配的であるためです。

初代LLaMAは、以下の公開データソースから抽出された1.4兆個のトークンで学習されました。

コモン・クロールで収集したWebページ
GitHubのオープンソースリポジトリ
ウィキペディア（20言語）
プロジェクト・グーテンベルクの書籍
ArXivの科学論文LaTeXソースコード
Stack Exchangeウェブサイトの質問と回答

学習済みパラメータのリーク

LLaMAは、2023年2月24日に発表されました。それ以前は、強力な大規模[[言語モデル]]はAPIを通じてのみアクセス可能でした。Meta社は当初、LLaMAの学習済みパラメータを内部管理し、研究コミュニティ向けに非商用ライセンスでの利用を許可する方針でした。しかし、2023年3月2日、リリースから1週間で学習済みパラメータが流出し、4chanを通じて拡散されました。

ライセンス

LLaMAのライセンスはバージョンによって異なります。Llama 2のトレーニングに使用されたコードは、オープンソースのGPLv3ライセンスで公開されました。Llama 3.1～3.3などのライセンスは、ホームページではオープンソースと記載されていますが、月間7億アクティブユーザーを持つ企業にはMeta社の利用許可が必要となるなど、オープンソースではなくソースアベイラブルの扱いとなっています。トレーニングデータは非公開ですが、公開データソースと独自のデータを組み合わせたものです。

バージョン

Llamaには複数のバージョンが存在し、それぞれに異なる特徴や機能があります。詳細については、公式ウェブサイトや関連ドキュメントを参照してください。

派生モデル

LLaMAをベースとした派生モデルは数多く存在し、Hugging Faceなどで学習済みパラメータが公開されています。以下に代表的な派生モデルをいくつか紹介します。

Alpaca
スタンフォード大学の研究センターが、LLaMA-7Bをファインチューニングして開発。OpenAIのGPT-3.5シリーズのtext-davinci-003モデルに匹敵する性能を達成しました。少量のデータと低コストでファインチューニングすることで、高性能を実現しています。
Stability AI
Stability AIは、LLaMA-65BをファインチューニングしたStable Beluga 1と、Llama 2 70BをファインチューニングしたStable Beluga 2を公開しました。
ELYZA LLM for JP
株式会社ELYZAは、Llama 2 7Bをベースに日本語性能を強化したELYZA-japanese-Llama-2-7bや、Llama-3をベースとしたELYZA-japaneseモデルを開発しました。
サイバーエージェント
サイバーエージェントは、Llama 3.1 70BをファインチューニングしたLlama-3.1-70B-Japanese-Instruct-2407を公開しました。
Sakana AI|Sakana_AI
Sakana AI|Sakana_AIは、Llama-3をベースとしたLlama-3-EvoVLM-JP-v2を公開しました。

関連項目

Transformer (機械学習モデル))
ROCm – Llama.cpp (#GGUF)

外部リンク

公式ウェブサイト
* Meta AI

もう一度検索