PyTorch 2.0 の起動

by Personnel PyTorch

私たちは、PyTorch® 2.0 の解放を明確にすることに激怒しています。 ) 2022 年 12 月 2 日の PyTorch カンファレンス で私たちが強調したことです! PyTorch 2.0 は、同一の関係モード パターンとユーザーの専門知識を提供しますが、基本的に、PyTorch がフードの下のコンパイラ レベルでどのように動作するかを変更およびスーパーチャージし、より高速な効率と Dynamic Shapes および Distributed の強化を実現します。

この次世代のフリーアップには、Accelerated Transformers (以前は Higher Transformers と呼ばれていた) の安定版が必要です。 PyTorch 2.0 のよく知られた API である scaled_dot_product_attention は torch.nn.functional のフェーズ、MPS バックエンド、torch.func モジュール内の functorch API として動作するため、ベータ版には torch.assembly が必要です。 GPU と CPU での非常に多くの推論、効率、コーチングの最適化のアイデアにまたがるさまざまなベータ版/プロトタイプの機能強化。 torch.assembly の包括的な紹介と技術的な概要については、2.0 Catch Started ページ.

2.0 に加えて、PyTorch ドメイン ライブラリの一連のベータ アップデートを追加でリリースします。これには、ツリーに含まれる個々のライブラリと、TorchAudio、TorchVision、および TorchText を含む個別のライブラリが含まれます。 近隣サポート モードに移行するため、TorchX の置き換えも追加で開始されています。 さらに必要なアイデアは、この

torch.assemble の基礎となる専門知識として、Nvidia および AMD GPU を搭載した TorchInductor は、OpenAI Triton 深層学習コンパイラーに依存して、パフォーマンスの高いコードを生成し、低レベルのハードウェアに必要なアイデアをカモフラージュします。 OpenAI Triton で生成されたカーネルは、手書きのカーネルと同等の効率を達成し、実際には専門家の cuda ライブラリは cublas によく似ています. Accelerated Transformers は、スケールド ドット プロダクト アテンション (SPDA) 用のパーソナライズされたカーネル アーキテクチャを利用して、コーチングと推論のための高効率の強化を導入します。 API は torch.assembly() と統合されており、モデル開発者は スケーリングされた内積注意 カーネルを遅滞なく追加で利用することもできます。独自の scaled_dot_product_attention() 演算子を呼び出すことにより

安定局面

Accelerated PyTorch 2 Transformers

PyTorch 2.0 の解放には、PyTorch Transformer API の新しい高効率実装が伴います. Accelerated PT2 Transformer をリリースする際の目的は、業界全体で理解できる最先端の Transformer デバイスのコーチングと展開を生み出すことです。 この解放により、スケールド ドット プロダクト アテンション (SPDA) 用のパーソナライズされたカーネル アーキテクチャを利用したコーチングと推論のための高効率の強化が導入され、以前は「Higher Transformer」として知られていた推論「fastpath」アーキテクチャが拡張されます。

「ファストパス」アーキテクチャと同様に、パーソナライズされたカーネルは PyTorch Transformer API に完全に統合されています – したがって、ネイティブの Transformer と MultiHeadAttention API を利用すると、ユーザーは次のことが可能になります:

各種ハードウェア機器のパンチの効いたメリットやTransformerの活用事例を掲載、特定のモデルとハードウェア形式に対して最も効果的な効率のカーネルを取得するパーソナライズされたカーネル決定ロジックを使用して、いくつかの SDPA パーソナライズされたカーネルがサポートされています (以下を参照)。 独自の Transformer API を起動するために、モデル開発者は スケーリングされた内積注意 カーネルを遅滞なく利用することもできます。一意の scaled_dot_product_attention() 演算子。 Accelerated PyTorch 2 トランスフォーマーは torch.assemble() と統合されています。 PT2 コンパイル (推論またはコーチング用) の追加の高速化を最大限に活用しながらモデルを利用するには、 でモデルを前処理します。 モデル=torch.assemble(モデル).

今では、パーソナライズされたカーネルと torch.assembly() の組み合わせを利用する Accelerated PyTorch 2 Transformers を使用して、トランスフォーマー デバイス、特に明確な言語デバイスをコーチングするためのよく知られたスピードアップを完了しました。

図: パーソナライズされたカーネルと torch.assemble でスケーリングされた内積注意を使用すると、よく知られているnanoGPT のように、明確な言語デバイスを指導するためのスピードアップ

ベータアスペクト

[Beta] torch.assemble

torch.assembly は PyTorch 2.0 のよく知られた API で、モデルをラップしてコンパイル済みのモデルを返します。 これは完全に付加的な (そしてオプションの) 機能であり、したがって 2.0 は定義により 100% 後方一致です

TorchInductor:

。

[Beta] PyTorch MPS バックエンド

MPS バックエンドは、Mac プラットフォーム上で GPU で高速化された PyTorch コーチングを提供します。 このフリーアップにより、正確性、安定性、およびオペレーター保護が向上します。

MPS バックエンドは、上位 60 の最も歴史的な op の強化を必要とするようになりました。 300 人以上のオペレーターに保護をもたらします。 フリーアップの主な注意点は一度に変更され、パンチの効いた OpInfo ベースのほぼ完全に順方向および勾配モードが静かな正しさの要因に対処できるようになりました。 これらの調整により、Stable Diffusion、YoloV5、WhisperAI などのサード オケージョン ネットワークによる MPS バックエンドの採用が広まり、Torchbench ネットワークと従来のチュートリアルの保護が強化されました。 MPS バックエンドで最高の効率と安定性を求めるのと同じくらい、開発者が最新の macOS に無料で置き換える価値があります。

リンク

[Beta] Scaled dot product attention 2.0

喜んでご説明させていただきますを導入する PyTorch 2.0 の解放 torch.nn.functional. この操作には、使用中の入力とハードウェアに応じてシームレスに使用されるいくつかの実装が必要です。

PyTorch の古いバージョンでは、3 回目の実装に依存する必要がありました。メモリ最適化アルゴリズムのメリットを運ぶために別の関数をインストールします FlashAttention. PyTorch 2.0 では、これらの実装はすべてデフォルトで簡単にアクセスできます。

これらの実装には HazyResearch の FlashAttention、 のメモリ効率の考慮) xFormers

プロジェクト、および非 CUDA デバイスや高精度が必要な場合に役立つネイティブ C++ 実装

PyTorch 2.0 は、最適な実装を自動的に取得して利用します。ただし、私の意見では、より細かく調整するためにそれらをさらに切り替えることができます。 さらに、スケーリングされたドット積の注意操作は、頻繁なトランス アーキテクチャ ドローを作成するために歴史的なものになる可能性もあります。

ドキュメンテーションとこれチュートリアル.

[Beta] functorch -> torch.func

感銘を受けた Google JAX, functorch は、構成可能な vmap (ベクトル化) と autodiff 変換を提供するライブラリです。 これにより、他のケースでは PyTorch で特定するのが難しい開発された autodiff 利用ケースが可能になります。 例:

インポート torch.disbursed.dist … # 同一の古い dist.init_process_group(backend=”nccl”, ...) dist.all_reduce(...) # CUDA tensor で動作します dist.all_reduce(...) # CPU tensor で動作しなくなりました # 一意の dist .init_process_group(...) # バックエンドはオプションです dist.all_reduce(...) # CUDA tensor で動作します dist.all_reduce(...) # CPU tensor で動作します  
もっと詳しく知る ここ。
 [Beta] torch.set_default_device および torch.instrument をコンテキスト スーパーバイザーとして使用  
torch.set_default_device は、ユーザーが PyTorch のファクトリー関数が割り当てるデフォルトのインストルメントを取引できるようにします。 説明するために、torch.set_default_device('cuda') が必要です。torch.empty(2) の名前は CUDA に (CPU に優先して) 割り当てられます。 さらに、コンテキスト スーパーバイザとして torch.instrument を利用して、デフォルトのインストルメントをローカル ベースで取引することもできます。 これにより、PyTorch がそれをマッピングするための適切な配置のために解放するという、長年にわたる機能要求が解決されます。
 
詳細 (*​​ ここ
。

[Beta] 「X86」は、独自のデフォルトの量子化バックエンドであるためです。 x86 CPU

FBGEMM と oneDNN カーネル ライブラリを使用する独自の X86 量子化バックエンドが FBGEMM を置き換えます。 x86 CPU プラットフォームのデフォルトの量子化バックエンドであり、通常の FBGEMM バックエンドと比較して改善された int8 推論効率を提供し、両方のライブラリの長所を活用して、40 以上のディープ ラーニング デバイスで測定された 1.3X ～ 2X の推論効率のスピードアップを実現します。 独自のバックエンドは、機能的には通常の FBGEMM バックエンドと賢く一致しています。

デフォルトでは、x86 プラットフォームのユーザーは x86 量子化バックエンドを利用し、デフォルトのバックエンドを利用する場合、PyTorch 関数は変更されません。 あるいは、量子化バックエンドが明示的にあるため、ユーザーは「X86」を指定する可能性があります。 インスタンスコードは以下の通りです:

import torch from torch.ao.quantization import get_default_qconfig_mappingfrom torch.quantization.quantize_fx import prepare_fx, convert_fx # デフォルト設定を導出 qconfig_mapping=get_default_qconfig_mapping() # または明示的に指定バックエンド # qengine='x86' # torch.backends.quantized.engine=qengine # qconfig_mapping=get_default_qconfig_mapping(qengine) # fp32 モデルを作成 model_fp32=... # prepare Prepared_model=prepare_fx(model_fp32, qconfig_mapping, example_inputs=x) # 調整... # convert quantized_model=convert_fx(prepared_model)

さらに情報を集める: https://github.com/pytorch/pytorch/factors/83888 および

.

1.20x

4コ res/occasion 1 ソケット(32コア)/時 Intel(R) Xeon(R) プラチナ 8358 CPU @ 2.60GHz 1.76X 1.80X 2.04バツ	1.34X
[Beta] CPU での GNN 推論とコーチングの最適化 PyTorch 2.0 は非常に多くの深刻な最適化を伴いますCPU での GNN 推論とコーチングの効率を強化します。 2.0 より前の PyG の GNN デバイスは、非常に多くの深刻なカーネル (スキャッター/サルベージなど) の効率調整の欠如に起因する CPU の低効率と、GNN リンクの疎行列乗算演算の不能に悩まされています。 特に、最適化には以下が含まれます: scatter_reduce:文字列インデックスは座標形式 (COO) で保存されます。 salvage: scatter_reduce の後方、特にインデックスが拡張テンソルの場合の GNN 計算 torch.sparse.mm with server フラグ:効率ホットスポット文字列インデックスが Compressed Sparse Row (CSR) に格納されている場合のメッセージ パッシング。 サポートされるサーバーフラグ: sum、mean、amax、amin. PyG ベンチマーク/例、OGB ベンチマークでは、単一ノードの推論とコーチングで 1.12 倍から 4.07 倍の効率の高速化が測定されました (2.0 と比較して 1.13.1)。
	可能性 高速化率 512-2-64-密 1.25x 512-2-64-スパース 1.31x 1024 -3-128-スパース 1.68x 512-2-64-dense 1.22x GraphSage-ogbn-商品(推測) GCN-Reddit(推理) 1.22x 1024-3-128-密 1024- 3-128-密

3-32

512-2-64-密

1.20x

もっと詳しく知る： PyG CPU効率の最適化.

[Beta] oneDNN Graph を活用して PyTorch で CPU の推論を高速化

oneDNN グラフ API 拡張 oneDNN 柔軟なグラフ API を使用して、AI ハードウェアで効率的なコードを生成するための最適化の選択肢を最大化します。

の融合パターン 畳み込み、matmul、および推論とコーチングの両方のケースでの隣接操作によく似た、計算集約型操作の融合に関する注目の中心です。

の PyTorch 2.0 でベータ スペースが達成されました。 Float32 & BFloat16 推論 (AVX512_BF16 ISA を強化したマシン上)

# ‘model’ というタイトルのモデルを取得したとします。 example_input=torch.rand(1, 3, 224, 224) # oneDNN グラフを許可する torch.jit.enable_onednn_fusion(Intellectual) # JIT の AMP を無効にする torch._C._jit_set_autocast_mode(Fraudulent) with torch.no_grad(), torch.cpu. amp.autocast(): model=torch.jit.build(model, (example_input)) model=torch.jit.freeze(model) # 2 回のウォームアップ (インスタンスを使用したトレース/スクリプティング用に 2 回、インスタンスなしで 3 回)モデル(試験 ple_input) model(example_input) # 以降の実行で高速化が見られます。 モデル(入力例)

もっと詳しく知る ここ

。 プロトタイプの側面

分散型 API

[Prototype] DTensor

PyTorch

DistributedTensor

(DTensor) はプロトです SPMD (Single Program Multiple Devices) パラダイム内で分散計算オーサリングをより単純化できるように、分散テンソル プリミティブを使用したタイピング作業。 プリミティブは単純ですが、シャード化された並列化と複製された並列化の両方のアイデアを持つ特定のテンソル分布に履歴がある場合は強力です。 PyTorch DTensor によって強化された PyTorch Tensor Parallelism と並行して、さまざまな開発された並列処理の探索。 さらに起動するには、FSDP でテンソルの並列処理とパラメーターのシャーディングを組み合わせるのと同じように、複雑なテンソル分散のアイデアがある場合でも、分配されたチェックポイントの目的で state_dict を接続/ロードするための統一された方法を提供します。 さらに必要なアイデアは、これについて詳しく説明することもできます RFC と DTensor の例のノートブック. [Prototype] TensorParallel

現在、DTensor ベースのほぼ完全な Tensor Parallel を強化しており、ユーザーはモデル パラメーターをさまざまな GPU デバイスに分散できます。 さらに、col-clever モデルと row-clever モデルの 2 つの連結された線形レイヤーを個別に分割する Pairwise Parallel を強化し、最も便利な 1 つの集合 (all-sever/sever-scatter) が終了内で重要になるようにします。 さらに必要なアイデアは、これについて詳しく説明することもできます 実例。

[Prototype] 2Dパラレル

FullyShardedDataParallel(FSDP) を 2D パラレルとして使用した前述の TP と、エクストラ スケールのクリア モデル コーチング。 さらに必要なアイデアは、これについて詳しく説明することもできます 歩と コードインスタンス.

[Prototype] torch.assemble(動的=知的)

このフリーアップで動的形状を使用した PT2 コンパイルの実験的強化が得られます。 簡単なデバイスのインダクタを使用した推論コンパイルがサポートされていますが、非常に多くの障害があります:

将来のフリーアップでアクセスできるように練習中 (ここはナイトリーで部分的に修正されています!)

ミニファイアー

あなたが重要な次元を危険にさらすことは簡単です。とにかく専門家に真実を伝えれば、動的であることは得られます。 これらの問題はナイトリーで修正されていますが、その他は修正されていません。

インダクタ ガードを最高レベルに伝播する可能性があります。 #96296

.

AWS Graviton プロセッサによる最適化された PyTorch 推論

GEMM カーネル、bfloat16 強化、ベテラン キャッシング、メモリ アロケータの 3 つの主要領域に関係する最適化。 aarch64 プラットフォームの場合、PyTorch は Mkldnn(OneDNN) バックエンドを使用して Arm Compute Library (ACL) GEMM カーネルをサポートします。 ACL ライブラリは、fp32 および bfloat16 コーデック用の Neon/SVE GEMM カーネルを提供します。 c7g の bfloat16 強化により、bfloat16 トレーニング済み、AMP (Computerized Mixed Precision) トレーニング済み、またはお気に入りの fp32 トレーニング済みデバイスの効率的な展開が可能になります。 お気に入りの fp32 デバイスは、モデルの量子化なしで、OneDNN フリート数学モードを使用して bfloat16 カーネルを活用します。 次に、conv、matmul、および内積演算子のベテラン キャッシングを利用しました。 今後の 2.0 free up 拡張機能を備えた PyTorch ユーザー情報と、TorchBench ベンチマークに必要なアイデアをさらに入手することができます

ここ. 𝚆𝚊𝚝𝚌𝚑 𝙽𝙾𝚆 📺