Stability AI、ChatGPTに対抗するStableLMを発表

Stability AI、ChatGPTに対抗するStableLMを発表

  • Lamiyi
  • 0
  • rhahw
Stability AI、ChatGPTに対抗するStableLMを発表

Stability AIは、ChatGPTに対抗する新たなオープンソース言語モデル「StableLM」のリリースを発表しました。StableLMのアルファ版は、30億および70億パラメータのモデルが提供されており、今後150億から650億パラメータのモデルがリリースされる予定です。開発者は、CC BY-SA-4.0ライセンスの条件に従い、StableLMの基本モデルを商用または研究目的で自由に検証、使用、および改変することができます。

2022年、Stability AIは、独自のAIに代わる透明性、オープン性、そしてスケーラビリティを備えた革新的な画像モデル「Stable Diffusion」の一般公開を推進しました。StableLMモデルスイートのリリースにより、Stability AIは基盤となるAI技術を誰もが利用できる環境づくりを進めています。StableLMモデルはテキストとコードを生成でき、様々な下流アプリケーションを支える基盤となります。これらのモデルは、適切なトレーニングを行うことで、小型で効率的なモデルがいかに高いパフォーマンスを発揮できるかを実証しています。

StableLMは、オープンソースデータセット「The Pile」をベースに構築された新しい実験データセットで学習されていますが、その規模は3倍の1.5兆トークンに及びます。このデータセットの豊富さにより、StableLMは30億から70億というパラメータ数(比較対象:GPT-3は1750億パラメータ)という小規模なデータサイズにもかかわらず、会話タスクとコーディングタスクにおいて驚くほど高いパフォーマンスを発揮すると言われています。

さらに、Stability AIは、命令を微調整した研究用モデルセットのリリースを発表しました。当初、これらの微調整済みモデルは、会話エージェント向けの最新のオープンソースデータセット5つ(Alpaca、GPT4All、Dolly、ShareGPT、HH)を組み合わせて使用​​します。これらの微調整済みモデルは研究用途のみを目的としており、スタンフォード大学のAlpacaライセンスに準拠した非営利のCC BY-NC-SA 4.0ライセンスの下でリリースされます。

以下のスクリーンショットでいくつかのサンプルプロンプトをご確認ください。モデルは現在、Stability AI GitHubリポジトリで公開されています。

Stability AI、ChatGPTに対抗するStableLMを発表Stability AI、ChatGPTに対抗するStableLMを発表
Stability AI、ChatGPTに対抗するStableLMを発表