2022 年 8 月の Stable Diffusion 画像ノウハウモデルエイドのオープンアンロックが鍵 2d でした。 私は当時、Stable Diffusion が非常に大きな取引であることを書きました。
さらに重要なことに、ビルダーは何が起こっているかの核心をいじることができました.
次の爆発今日のイノベーションは無言です。 最も正直なところ、ControlNet は、その機能を通じて Midjourney や DALL-E よりも早く飛躍した Stable Diffusion を楽しんでいるようです.
8 月の Stable Diffusion 2d エイドによって、ジェネレーティブ AI のホビーの全体的な新しい波が始まりました。 11 月.
その安定拡散 2d は、天文学的な言語モデルに適した現在再び発生しています。ChatGPT 自体の支援内のノウハウです.
今朝 私は、原則として、ぶら下がっているプライベート ラップトップで GPT-3 クラスの言語モデルを実行しました!
AI はすでに異常でした。 もっとユニークな分岐を受けようとしています
LLaMA
かなり意外に、言語モデルはGPTを楽しむ-3 エネルギー機器がChatGPTを楽しむのは、画像ノウハウモデルよりも負荷が大きく、作成と運用にコストがかかります. OpenAI に似た民間組織によって保存され、厳密に制御されて保存されました。API と Web インターフェイスのマップからアクセスできますが、非常にぶら下がっているマシンで騒ぐ人には解放されませんでした.
これらのモデルもBIGです。 おそらくGPT-3モデルを生産したいと思っても、コモディティハードウェアでそれを動かす準備ができていないでしょう.
このノウハウは明らかにあまりに初歩的なものであり、企業のちっぽけな乗組員によって完全に制御されることはありません.過去数年間にリリースされましたが、次の期間中に私にとって甘いスペースにぶつかるのを楽しんでいる人はいません:
これはすべて、集計のおかげで、この日よりも前の日に変更されましたFbのLLaMAモデルとllama.cppの ゲオルグ i Gerganov.
これが LLaMA 論文 からの要約です:
7B から 65B パラメータまでの一連の基礎言語モデルである LLaMA を紹介します。 私たちは何兆ものトークンでモデルを準備しており、独自のアクセス不可能なデータセットに頼ることなく、公的に手元にあるデータセットを完全に利用して、芸術作品の宣言モデルを準備できるレベルに達しています。 特に、LLaMA-13B はほとんどのベンチマークで GPT-3 (175B) を上回り、LLaMA-65B は最高のモデルである Chinchilla-70B および PaLM-540B と競合します。 私たちはすべてのモデルを学習クルーにアンロックします.完全に「開いている」わけではありません。 モデルへのエントリーを正確に受け取るために、
いくつかの厳格な条件
に同意したいと考えています。 これは学習プレビューとして想定されており、一見産業用機能の傾向があるものではありません.
完全なサイバーパンク転送では、ロック解除から 2 日以内に この PR を LLaMA リポジトリに送信し、モデル情報の非公式の BitTorrent 受信ハイパーリンクにリンクしています!
彼らが野生の中にいるように。 それらで工業製品を作成するために法的に準備する必要はもうありませんが、魔神はボトルから出ています. あなたが聞くことができるその鮮やかなタイピング音は、何百人ものハッカーが掘り下げて、あなたのぶら下がっているハードウェアのGPT-3クラスモデルを騒がせる必要がある人生が何であるかを決定し始める環境の期間です。 )
llama.cpp
LLaMA があまりにも壮大すぎて大騒ぎできない場合、LLaMA 自体は壮大な現実ではありません。
Enter ゲオルギ・ゲルガノフ .
Georgi は、本質的にブルガリアのソフィアに拠点を置くオープン サプライ開発者です ( と歩調を合わせて) 彼の GitHub プロフィール
)。 彼は以前、OpenAI の Allege 自動音声認識モデルを C++ に移植した negate.cpp をリリースしました。 . そのプロジェクトにより、Allege は山岳地帯のさまざまな洗練された運動条件に受け入れられるようになりました.
彼は LLaMA と同じ発言を適切に実行しました.
Georgi の llama.cpp プロジェクトには この日の前日に仮解除。 README から:
最初の目的は、
4ビット量子化はモデルのサイズを小さくする技術なので、彼らは、はるかに劣った非常に優れたハードウェアで忙しくなります。 また、ディスク上のモデル サイズも削減されます。7B モデルでは 4GB、13B モデルでは 8GB 未満に適切です
完全に機能します!
私は今晩ラップトップで7B LLaMAモデルを忙しくする傾向があり、その後今朝、FbがGPT-3と競合すると主張する13Bモデルにアップグレードしました.
ここに私の詳細なメモがあります—私が欲しかったヒントの多くはすでにREADME内にありました.
私のラップトップがテキストのジャバーを吐き出し始めたとき、私は本当に環境が再び商売になろうとしているのを感じました.
ペアも遠いと信じていた私が所有しているハードウェアで GPT-3 クラスのモデルを動かすよりも何年も早く。 私は堕落していた その未来はもうここにある. )
私は、ここでの SF の状況について、もはやびくびくしていません。 私のラップトップで実行されている言語モデルは、もはや AGI ではありません。環境
しかし、このノウハウが傷つきやすい非常に現実的なプログラムがたくさんあります。
迷惑メールの作成 自動恋愛詐欺 荒らしと嫌悪のスピーチ 偽情報と偽情報 自動化された過激化 (これがロードされるのが怖い) 言うまでもなく、このノウハウは、適切な情報をオウム返しにして、適応を繰り返すための技術を提供しないため、コメントなしで問題を正確に作成します.
この 2d より前は、企業がこれらのモデルと人々がどのように対話するかを制御する限定的なスキルを持つ OpenAI を利用することで、わずかな防御層が存在していました.
ダングル ハードウェアでこれらをバッスルできるようになったので、これらのコントロールはずっと以前のものです.
これを実際にどのように実行しますか?
私はここで、社会に山ほどの影響を与えるつもりだと主張します。 私の優先事項は、明確なコースでその影響を指摘しようとすることです.
私は個人的に、さまざまな機能のために日々生成 AI 機器を利用しています。 彼らは私に競技場の問題の生産性を向上させてくれましたが、もっと重要なことに、彼らは私が維持しているプロジェクトを通じて私の野望を広げたことを喜んでいます.
1時間以内の適切な最終週のプロジェクト!
このノウハウの真に明確な能力を探求し、共有していきます。 それはもはや発明されないということはないので、それを実行するための最も建設的な可能なプログラムを決定することを優先する必要があると私は主張します. 今後どうなるか
Fbがライセンス条項を緩和しないと仮定すると、LLaMAはローカル言語モデルがクライアント ハードウェア上で実行可能であるというアイデアの証明を、人々が今後実行する新しい基本モデルよりも止めているようです
非常にぶら下がっているデバイスで人々に ChatGPT-relish 機能を提供する、原則として完全にオープンな言語モデルです。 エマド・モスタク:
本当にオープン版があったら有利じゃないのにえ
仕事の準備
ブログに書いたものはすべて
私のAtomフィード
、そして私は非常に楽しんでいます アクティブなマストドンの寓話、さらに Twitter の寓話 ( @simonw) ここで、私が書いた新しい問題へのリンクを送信します.
また、でメールマガジンを始めます。 simonw.substack.com
. ブログのすべての記事を毎週送信する予定ですので、電子メールが最新情報を入手するための最も洗練された手法である場合は、そこに登録してください.
私が書いたその他のもの
私の ジェネレーティブ AI トレース にはすべての要素が含まれていますが、過去 12 か月の関連するハイライトを以下に示します:
ビング: 「あなたが最初に私を傷つける」—2023 年 2 月 15 日
