Metaが新しいLlama 4 Herd AIモデルを発表
Metaは本日、「Llama 4 herd（ラマ4群）」と名付けられた新しいAIモデルのリリースを発表しました。同社は、Llama 4 ScoutとLlama 4 Maverickという2つの主力モデルに加え、現在トレーニング中のLlama 4 Behemothのプレビュー版を公開しました。
Llama 4 Scoutは、170億のアクティブパラメータと16人のエキスパートを擁するモデルで、Int4量子化を用いて単一のNVIDIA H100 GPUに収まるように設計されています。Meta社によると、広く報告されているベンチマークにおいて、Llama 4 ScoutはこれまでのすべてのLlamaモデル、そしてGemma 3、Gemini 2.0 Flash-Lite、Mistral 3.1といった同規模の競合モデルを上回る性能を発揮します。業界をリードする1,000万トークンのコンテキストウィンドウを誇り、複数ドキュメントの要約や大規模コードベースにおける推論といったタスクを可能にします。
Llama 4 Maverickも170億のアクティブパラメータを備えていますが、エキスパートは128名、総パラメータ数は4000億と、最高レベルのマルチモーダル性能を実現するように設計されています。Metaによると、Llama 4 Maverickは複数のベンチマークでGPT-4oやGemini 2.0 Flashを上回り、推論とコーディングにおいては、はるかに大規模なDeepSeek v3に匹敵する結果を達成しています。そのスケールにもかかわらず、単一のNVIDIA H100ホストで動作します。Maverickの実験的なチャットバージョンは、LMArenaでELOスコア1417を達成しました。
これらのモデルを駆動しているのは、16人のエキスパートと約2兆個のパラメータを持つ、2,880億のアクティブパラメータを持つ教師モデル、Llama 4 Behemothです。Metaによると、まだ学習段階ではありますが、MATH-500やGPQA DiamondといったSTEMに特化したベンチマークにおいて、GPT-4.5、Claude Sonnet 3.7、Gemini 2.0 Proを上回る性能を発揮しています。BehemothはScoutとMaverickに知識を集約する上で重要な役割を果たしていますが、まだ一般公開されていません。
ScoutとMaverickはどちらも、Llamaシリーズで初めて、トークンごとにパラメータの一部のみをアクティブ化することで効率を向上させるMixture-of-Experts（MoE）アーキテクチャを採用しています。Scoutの総パラメータ数は1,090億、Maverickは4,000億です。これらのモデルは、強化されたMetaCLIPベースのビジョンエンコーダーを搭載し、テキストトークンとビジョントークンの早期融合によるネイティブなマルチモダリティを提供します。
開発者の皆様は、本日2025年4月5日より、llama.comとHugging FaceからLlama 4 ScoutとMaverickをダウンロードいただけます。Metaは今後数日以内にパートナー企業を通じてもアクセスを順次開始する予定です。Meta AI powered by Llama 4は、WhatsApp、Messenger、Instagram Direct、そしてMeta.AIウェブサイトでご利用いただけます。Behemothモデルの技術的知見や将来計画など、詳細は4月29日のLlamaConで発表される予定です。
完全な発表については、以下のリンクをクリックしてください。
続きを読む
