単一の GPU で ChatGPT が大好きな優れた言語の実行

FlexGen は、大量の GPU メモリで優れた言語ファッションを実行するための過剰スループット生成エンジンです。

山岳言語ファッション (LLM) は、アプリケーションは ChatGPT と Copilot を愛用していますが、LLM 推論の過度の計算とメモリの要件は、伝統的に、過剰停止アクセラレータのペアで完全に作成されているように見えます。 FlexGen の目標は、LLM 推論のリソース要件を 1 つのコモディティ GPU にまで減らし、まったく異なるハードウェアセットアップの多用途展開を可能にすることです。

FlexGen の重要な側面は次のとおりです。

⚡ ライトニング急いでオフロード. 単一の GPU で 175B のファッションを実行するための他のオフロード – 主にベースの完全なプログラムよりも 100 倍高速です。

📦 下品な圧縮.
パラメータとOPT-175B を彷彿とさせるファッションのフォーカスキャッシュを 4 ビットに減らし、精度の損失はほとんどありません。

🚀 スケーラビリティ. より多くの GPU が与えられた場合にスケーリングを可能にする分散パイプライン並列処理ランタイムに近い.

| 論文を読む Discordの半分になってください

ベンチマーク結果設定単一の GPU で開始した取得シングル GPU で ChatOPT を高速化

ベンチマーク結果

システム

OPT-6.7B OPT-175B

)

25.12 0.62

9.28

0.01

ハグフェイススピード DeepSpeed ゼロ推論 0.60

花びら* –

–

FlexGen

FlexGen with Compression 29.12

25.26

8.38

1.12 ワークロード: 入力シーケンスサイズ=512、出力シーケンスサイズ=32。バッチサイズは、すべてのシステムの生成スループットを最大化するラベルに調整されます。メトリック: 生成スループット (トークン/秒)=生成されたトークンの確率 / (プロンプトの処理時間 + 生成時間).

方法

再現. レイテンシスループット代替オフ

以下の設定は、OPT-175B (左) と OPT-30B (正確) の 3 つのオフロード – 主に完全にベースの完全なプログラムのレイテンシとスループットのトレードオフを示しています。 FlexGen は、OPT-175B の 100 倍優れた最大スループットで、独特のパレート最適フロンティアを達成します。他のプログラムは、メモリ不足のため、スループットをさらに向上させることができません。「(c)」は、圧縮された FlexGen を示します。

仕組み

FlexGenはGPU、CPU、およびディスクからメモリと計算を集約することにより、まったく異なるハードウェアリソースの制約の下で柔軟に構成することもできます。線形計画法オプティマイザーの戦略により、サイドウェイト、アクティベーション、およびフォーカスキー/価格 (KV) キャッシュと共に、小売業者への安定したパターンを検索し、テンソルを入力します。 FlexGen エクストラは、重みと KV キャッシュの両方を 4 ビットに圧縮し、精度の損失はほとんどありません。

FlexGen の重要な信念の 1 つは、レイテンシとスループットのトレードオフを果たすことです。低レイテンシに到達することは、オフロード方法にとって本質的に優れていますが、オフロードの有効性は、スループット指向の不測の事態に対しても大幅に向上します (上記の確立に関して発見してください)。 FlexGen は、以下の確立 (b) で確認されているように、ブロックアジェンダを使用して重みを再利用し、I/O と計算をオーバーラップさせますが、他のベースラインプログラムは、以下の確立 (a) で確認されているように、非効率的な行ごとのアジェンダを使用します。

より重要な側面は、私たちの論文

セットアップ

必需品:

手順：

git clone https://github. com/Ying1123/FlexGen.git cd FlexGen pip3 セットアップ -e 。 # (もはや必須ではありません) マルチ GPU 実行用に openmpi をセットアップします # sudo dazzling setup openmpi-bin 単一の GPU で開始した取得

OPT-1.3B

始めるには、最初に OPT-1.3B を愛するエビのモデルを試してみてください。単一の GPU に収まるため、オフロードは必要ありません。 FlexGen は、huggingface から機械的にウェイトを受け取ります。

python3 -m flexgen.flex_opt --model facebook/opt-1.3b

`OPT -30B にぎわうグッドファッションラブOPT -30B では、CPU オフロードを利用したいと思うかもしれません。以下の手順に従ってください。 - パーセント引数は、パラメータ、アテンションキャッシュ、非表示状態のオフロード手法を個別に指定します。 python3 -m flexgen.flex_opt --model facebook/opt-30b --percent 0 100 100 0 100 0 OPT-175B`

OPT-175Bを賑わすためには、受信することが重要ですからの重みmetaseq

に変換します。レイアウト。次に、

によって CPU/ディスクのオフロードを試みます。

オフロード技術の構築方法は?

後で自動保護オプティマイザーのロックを解除できますが、今はそれが重要です一対の方法を手動で試す。過剰なスループット生成の目的は、パラメーターとフォーカスキャッシュを一見 CPU とディスクにオフロードすることです。ベンチマークのリファレンススターテジーについては、一見よくわかるかもしれません

ここ.

より多くの GPU を信頼しているように見える場合でも、FlexGen はオフロードとスケーリングを可能にするパイプライン並列処理。たとえば、2 つの GPU を使用しているように見えても、集約された GPU メモリがモデルのサイズよりも少ない場合は、オフロードが必要になります。 FlexGen は、これら 2 つの GPU を使用してパイプラインの並列処理を行い、世代を混乱させます。例を見る 。

の展示では、FlexGen と OPT ファッションでチャットボットを製造する方法を学びます。 FlexGen は主にスループット指向のイベンチュアリティラブデータセット評価とレコードデータ抽出用に最適化されていますが、FlexGen は他のオフロードベースの完全なプログラムよりも優れたパフォーマンスを備えた対話型アプリケーションラブチャットボット向けに熟成されます。この単一バッチのケースでは、FlexGen が最大のスループットを実現できないというチケットです。

コマンド

# OPT-6.7B とチャット python3 chatbot.py --model facebook/opt-6.7b # OPT-30B python3 チャットボットとチャット。 py --model facebook/opt-30b --percent 0 100 100 0 100 0

出力例
 間のチャット珍しい人間と教育を受けた人工知能アシスタント。 人間: こんにちは！ 何を製造できますか？ アシスタント：AIアシスタントとして、質問に答えたりチャットしたりします。 人間: アリーナ内で最も高い山の名前は? アシスタント: エベレスト。 人間: 私たちの記念日の外出を計画しています. どのような問題を製造しますか? アシスタント: 実際には、記念日のために一見うまく作成されているように見える問題が発生する可能性があります。 まず、あなたは一見上手にトランプをするかもしれません。  2d、あなたはハイキングに出発するのがよいように見えるかもしれません。 第三に、あなたは博物館に出発するように見えるかもしれません。     ロードマップ  私たちは、次の側面に取り組むことを考えています。 コミュニティへの貢献は大歓迎です.
   AppleシリコンM1/M2展開強化   コラボ展開強化   チャットボットアプリケーションの遅延を最適化します  テキスト要約アプリを追加 より多くのファッションを強化 (BLOOM、CodeGen、OPT-IML)  価格モデルとプロテクションオプティマイザを開く  pip インストール可能なパッケージを開きます     𝚆𝚊𝚝𝚌𝚑 𝙽𝙾𝚆 📺

技術スループット (トークン/秒)

出力例

Related Posts