Qwen

Qwen（通义千问）: アリババが開発した先進の大規模言語モデル

Qwen、またの名を通义千问は、アリババによって開発された大規模な言語モデルファミリーです。2024年7月の時点で、このモデルは一部のベンチマークにおいて中国語モデルとして最高の評価を受け、世界全体ではAnthropicやOpenAIのモデルに次ぐ第3位に位置付けられました。

モデルの進化

アリババは2023年4月にQwenのベータ版を「通义千问」として初公開しました。これに続き、同年9月には中国政府からの承認を得て正式にリリースしました。12月には、72Bおよび1.8Bのモデルがオープンソースとして公開され、更にQwen 7Bモデルが同年8月にオープンソース化されました。

2024年の6月には次世代モデルであるQwen 2が発表され、9月には一部モデルをオープンソース化しましたが、最も高性能なモデルは非公開とされました。Qwen 2は専門家混合型アーキテクチャを取り入れたことで、より効率的な学習が可能となっています。

専門特化のモデル

2024年11月にはOpenAIのo1と同様に推論に特化したモデル「QwQ-32B-Preview」がApache License 2.0の下でリリースされました。このモデルは32,000トークンのコンテキスト長を持ち、いくつかのベンチマークでOpenAIのo1を上回る性能を発揮しています。ただし、公開されたのはモデルの重みのみで、データセットや学習手法については非公開です。

ビジュアルモデルとその他のモデル

Qwen-VLシリーズは、ビジョンTransformerと大規模言語モデルが結びついた視覚言語モデルです。アリババは、20億パラメータおよび70億パラメータのバリエーションを持つQwen-VL2を公開しています。2024年時点において、主力視覚モデルはQwen-VL-Maxで、アリババ・クラウドを通じて利用できます。

さらに、アリババはQwen-AudioやQwen2-Mathといったさまざまなモデルも開発しており、これらのモデルのオープンソース化が進行中です。全体で100を超えるモデルがオープンソースとして公開され、累計ダウンロード数は4,000万回を超えています。

ファインチューニング版の登場

ファインチューニングされたバージョンも多く開発され、例としてはサンフランシスコのAbacus AIが手掛けた「Liberated Qwen」が挙げられます。このモデルは、コンテンツ制限を除き、全てのユーザーからのリクエストに応答できるよう調整されています。

最新のモデル

2025年1月には、最新で最も強力なモデルである「Qwen 2.5-Max」が発表されました。アリババの公式ブログによると、このモデルは主要なベンチマークでGPT-4oやDeepSeek-V3、Llama-3.1-405Bなどの他のモデルを上回るパフォーマンスを持つことが確認されています。

Qwenシリーズは、今後も多様な用途での進化が期待されており、AI技術の最前線で重要な役割を果たし続けるでしょう。

もう一度検索