OpenXLA は現在入手可能です
MLパターンとデプロイはこちら断片化されサイロ化されたインフラストラクチャは、フレームワーク、ハードウェア、使用ケースによって異なる可能性があります。 このような断片化は、開発者の限界を制限し、モデルの移植性、効率、および生産化に障壁を課します。
最近、私たちは OpenXLA プロジェクト、XLA, StableHLO
リポジトリ、手元にあるものを使って投稿してください。
OpenXLA は、AI/ML コマースのリーダー
最近の ML インフラストラクチャの課題
パターン グループは、いくつかの業界だけでなく、ML を利用して複雑な有効な世界の課題をスタイル化しています。病気の予知と予防, カスタマイズされた学習体験 )、および 薄暗い穴の物理学 .
モデルのパラメーター数が指数関数的に増加し、計算されると、ディープ スタディ デバイスの場合 6 か月ごとに 2 倍 、ビルダーはインフラストラクチャのパフォーマンスと使用率を最大限に高めます。 チームは、データセンター内のエネルギー効率に優れた ML ASIC からエッジ プロセッサまで、理想的な幅広いハードウェア アレイを活用しており、おそらくより応答性の高い AI エクスペリエンスをトレーニングする可能性があります。 これらのハードウェア デバイスは、最新のアルゴリズムとプリミティブを備えた特注のアプリケーション ライブラリを所有しています。一方で、これらのさまざまなハードウェア デバイスを橋渡しする全体的なコンパイラがなければ、現在使用されている 1 組のフレームワーク (TensorFlow、PyTorch など) では、ML をうまくストリークするには大きな努力が必要です。 ビルダーは、ハードウェア ターゲットごとにモデル操作を手動で最適化する必要があります。 これは、特注のアプリケーション ライブラリを利用したり、ツール固有のコードを記述したりすることを意味します。これには、アリーナの能力が必要です。 最終結果の孤立した一般化不可能なパスは、すべてのドロー スルー フレームワークとハードウェアを維持し、ベンダー ロックインを促進し、ML ビルダーの開発を怠ります。
私たちの決意と夢
OpenXLA プロジェクトは、複雑な ML インフラストラクチャの中で拡張できる可能性があるアート ML コンパイラの入札を提示します。 その中核となる柱は、顧客にとってのパフォーマンス、スケーラビリティ、移植性、柔軟性、および拡張性です。 OpenXLA を使用して、AI のパターンとトランスポートを高速化することにより、AI の有効な世界の機能に署名することを目指しています。私たちの目標は:
ビルダーが、最も伝統的なフレームワークの任意のモデルを簡単にコンパイルおよび最適化できるようにします。 1) どのフレームワークもターゲットにできる統合コンパイラ API (2) プラグイン可能なツール – 特定のサーブエンドと最適化- ビルダーに を提供する、階層化された拡張可能な ML コンパイラ プラットフォームを作成します。 (1) MLIR-基本的に基本的にベースのパーツで、現代の利用ケースに合わせて再構成可能です (2) コンパイルの流れのハードウェア固有のカスタマイズのためのウィスクインパーツ.
AI/ML リーダーのコミュニティ
今日の ML インフラストラクチャで私たちが直面している課題は巨大であり、1 つのグループが自分だけでそれらの裏側に成功することはできません。 OpenXLA コミュニティは、フレームワークからコンパイラ、ランタイム、シリコンに至るまで、AI スタックのさまざまな段階で作業しているビルダーとコマース リーダーを集め、ML パノラマを通じてすべてのドローを教えられた断片化に取り組むために首尾よく一致しています。
補給開始ミッションとして、次は原則を脇に置く :- 対等な立場： メンバーは、所属に関係なく対等な立場で貢献します。 テクニカルリーダーは、基本的に最も多くの時間と活力を提供する人です。
すべての参加者は、ミッションの価値観と行動規範を守ることが期待されており、コミュニティ内での彼らの陰謀について話題にする必要はありません. スケーラブルで効率的なガバナンス: 小さなグループはコンセンサスを持っています。それにもかかわらず、エスカレーションのための滅多にないパス. 透明度:
すべての選択と論理的根拠は、公共のコミュニティにとって読みやすいものであることを望んでいます.
過剰な段階の OpenXLA コンパイルが漂流し、構造。 描写された最適化、フレームワーク、およびハードウェア ターゲットは、OpenXLA を通じてビルダーが手にしているものの半分をキャプチャーすることを意味します。 ここにリストされているのは、OpenXLA が提供する基本的に重要な利点の一部です:
ML雇用条件のスペクトル今日の OpenXLA の利用は、ML の利用例の範囲に及びます。 これには、Alibaba Cloud での DeepMind の AlphaFold、GPT2、Swin Transformer、および Amazon.com でのマルチモーダル LLM を崇拝するデバイスの本格的な実践が必要です。 ユーザーは、Waymo が OpenXLA を活用して自動車の有効時間の推論を行うことを愛用しています。 起動するには、OpenXLA は での Earn Diffusion の提供を最適化するために廃止されています) AMD RDNA™ 3 ギアアップのローカル マシン
. フィールド外での最適な効率 OpenXLA を使用すると、ビルダーは、ツール固有のコードを書き留めることを望まずに、モデルのパフォーマンスを簡単に向上させることができます。 これは、代数式の単純化、記憶内レコードのデータ レイアウトの最適化、上部記憶の使用と言語変更のオーバーヘッドを削減するためのスケジューリングの改善の側面で、モデル全体の最適化を考慮しています。 進化したオペレータ フュージョンとカーネル テクノロジーにより、ツールの使用が強化され、記憶帯域幅の要件が軽減されます。 最小限の労力でワークロードをスケーリングする効率的な並列化アルゴリズムの開発は、時間のかかる作業であり、能力が必要です。 側面を崇拝します GSPMD、ビルダーは、コンパイラが機械的に並列化された計算を生成するために利用できる厳密なテンソルのサブセットに注釈を付けるのが最も手っ取り早い方法です。 これにより、ハードウェア ホストとアクセラレータのペアを介してデバイスを分割し、正常に並列化するために必要な作業が大幅に削減されます。
移植性と選択性OpenXLA は、AMD および NVIDIA GPU の横にあるハードウェア デバイスの巨大なトレンドに対応する、すぐに使用できるポークアップを提供します。 、x86 CPU および Arm アーキテクチャは、ML アクセラレータが Google TPU、AWS Trainium および Inferentia、Graphcore IPU、Cerebras Wafer-Scale Engine を崇拝するのと同じくらい成功し、さらに多くをロードします。 さらに、OpenXLA は、OpenXLA の入力フォーマットとして機能するポータビリティ レイヤーである StableHLO を介して、TensorFlow、PyTorch、および JAX を支援します。
柔軟性OpenXLA は、顧客がデバイスのホットスポットを手動で調整できる柔軟性を提供します。 と同等の拡張メカニズムCustomized-name により、お客様は CUDA、HIP、SYCL、Triton およびその他のカーネルを使用してプリミティブを深く研究することができますハードウェアの側面を最大限に活用できるようにします.
StableHLO は、ML フレームワークと ML コンパイラ間の移植性レイヤーです。 ダイナミズム、量子化、およびスパース性に役立つ過剰ステージ操作 (HLO) のための操作場所。 さらに、互換性を確保するために MLIR バイトコードにシリアル化されます。 すべての重要な ML フレームワーク (JAX、PyTorch、TensorFlow) は、StableHLO を袋に入れることができます。 2023 年までに、PyTorch クルーと慎重に協力して、最新の PyTorch 2.0 ローンチへの統合を可能にすることを考えました. ビルダーがこれらの側面に手のひらを袋に入れ、ML ワークフローを大幅に簡素化し、簡素化できるものをさらにロードすることに腹を立てています. 一緒にインテリジェントフォワード
OpenXLA プロジェクトは共同コミュニティによって構築されています。そして、今日の ML コマースで教えられているギャップや代替案に取り組むためにそれを使用します。 Bag は、今日 GitHub で OpenXLA を使用して開始し、郵送チェックリスト ここ で、製品およびコミュニティの速報をご覧いただけます。 Twitterで私たちをフォローしてください：@OpenXLA メンバーの名言
これが私たちの協力者が OpenXLA について発表していることです:
アリババ「Alibaba では、OpenXLA は Elastic GPU サービスの見込み客によって活用され、ハンサムな PyTorch デバイスの練習と提供を行っています。 購入者が OpenXLA を利用することで大幅なパフォーマンスの向上が見られました。特に、NVIDIA GPU の GPT2 で 72%、Swin Transformer で 88% のバウンド ユーザーが得られました。 私たちは OpenXLA プロジェクトの創設メンバーであり、供給開始コミュニティと協力して、Alibaba Cloud の見込み客に優れたパフォーマンスとユーザー ライドを提供する開発された ML コンパイラを発明することを誇りに思っています。」 –
効率的な並列化アルゴリズムの開発は、時間のかかる作業であり、能力が必要です。 側面を崇拝します GSPMD、ビルダーは、コンパイラが機械的に並列化された計算を生成するために利用できる厳密なテンソルのサブセットに注釈を付けるのが最も手っ取り早い方法です。 これにより、ハードウェア ホストとアクセラレータのペアを介してデバイスを分割し、正常に並列化するために必要な作業が大幅に削減されます。
移植性と選択性OpenXLA は、AMD および NVIDIA GPU の横にあるハードウェア デバイスの巨大なトレンドに対応する、すぐに使用できるポークアップを提供します。 、x86 CPU および Arm アーキテクチャは、ML アクセラレータが Google TPU、AWS Trainium および Inferentia、Graphcore IPU、Cerebras Wafer-Scale Engine を崇拝するのと同じくらい成功し、さらに多くをロードします。 さらに、OpenXLA は、OpenXLA の入力フォーマットとして機能するポータビリティ レイヤーである StableHLO を介して、TensorFlow、PyTorch、および JAX を支援します。
柔軟性OpenXLA は、顧客がデバイスのホットスポットを手動で調整できる柔軟性を提供します。 と同等の拡張メカニズムCustomized-name により、お客様は CUDA、HIP、SYCL、Triton およびその他のカーネルを使用してプリミティブを深く研究することができますハードウェアの側面を最大限に活用できるようにします.
StableHLO は、ML フレームワークと ML コンパイラ間の移植性レイヤーです。 ダイナミズム、量子化、およびスパース性に役立つ過剰ステージ操作 (HLO) のための操作場所。 さらに、互換性を確保するために MLIR バイトコードにシリアル化されます。 すべての重要な ML フレームワーク (JAX、PyTorch、TensorFlow) は、StableHLO を袋に入れることができます。 2023 年までに、PyTorch クルーと慎重に協力して、最新の PyTorch 2.0 ローンチへの統合を可能にすることを考えました. ビルダーがこれらの側面に手のひらを袋に入れ、ML ワークフローを大幅に簡素化し、簡素化できるものをさらにロードすることに腹を立てています. 一緒にインテリジェントフォワード
OpenXLA プロジェクトは共同コミュニティによって構築されています。そして、今日の ML コマースで教えられているギャップや代替案に取り組むためにそれを使用します。 Bag は、今日 GitHub で OpenXLA を使用して開始し、郵送チェックリスト ここ で、製品およびコミュニティの速報をご覧いただけます。 Twitterで私たちをフォローしてください：@OpenXLA メンバーの名言
これが私たちの協力者が OpenXLA について発表していることです:
アリババ「Alibaba では、OpenXLA は Elastic GPU サービスの見込み客によって活用され、ハンサムな PyTorch デバイスの練習と提供を行っています。 購入者が OpenXLA を利用することで大幅なパフォーマンスの向上が見られました。特に、NVIDIA GPU の GPT2 で 72%、Swin Transformer で 88% のバウンド ユーザーが得られました。 私たちは OpenXLA プロジェクトの創設メンバーであり、供給開始コミュニティと協力して、Alibaba Cloud の見込み客に優れたパフォーマンスとユーザー ライドを提供する開発された ML コンパイラを発明することを誇りに思っています。」 –
OpenXLA は、顧客がデバイスのホットスポットを手動で調整できる柔軟性を提供します。 と同等の拡張メカニズムCustomized-name により、お客様は CUDA、HIP、SYCL、Triton およびその他のカーネルを使用してプリミティブを深く研究することができますハードウェアの側面を最大限に活用できるようにします.
StableHLO は、ML フレームワークと ML コンパイラ間の移植性レイヤーです。 ダイナミズム、量子化、およびスパース性に役立つ過剰ステージ操作 (HLO) のための操作場所。 さらに、互換性を確保するために MLIR バイトコードにシリアル化されます。 すべての重要な ML フレームワーク (JAX、PyTorch、TensorFlow) は、StableHLO を袋に入れることができます。 2023 年までに、PyTorch クルーと慎重に協力して、最新の PyTorch 2.0 ローンチへの統合を可能にすることを考えました. ビルダーがこれらの側面に手のひらを袋に入れ、ML ワークフローを大幅に簡素化し、簡素化できるものをさらにロードすることに腹を立てています. 一緒にインテリジェントフォワード
OpenXLA プロジェクトは共同コミュニティによって構築されています。そして、今日の ML コマースで教えられているギャップや代替案に取り組むためにそれを使用します。 Bag は、今日 GitHub で OpenXLA を使用して開始し、郵送チェックリスト ここ で、製品およびコミュニティの速報をご覧いただけます。 Twitterで私たちをフォローしてください：@OpenXLA メンバーの名言
これが私たちの協力者が OpenXLA について発表していることです:
アリババ「Alibaba では、OpenXLA は Elastic GPU サービスの見込み客によって活用され、ハンサムな PyTorch デバイスの練習と提供を行っています。 購入者が OpenXLA を利用することで大幅なパフォーマンスの向上が見られました。特に、NVIDIA GPU の GPT2 で 72%、Swin Transformer で 88% のバウンド ユーザーが得られました。 私たちは OpenXLA プロジェクトの創設メンバーであり、供給開始コミュニティと協力して、Alibaba Cloud の見込み客に優れたパフォーマンスとユーザー ライドを提供する開発された ML コンパイラを発明することを誇りに思っています。」 –
陽清Jia、VP、AI および記録分析、アリババ
AMD「私たちは、AMD デバイス (CPU、GPU、AIE) の大規模な家庭での OpenXLA の将来のルートに関して厳しく、このコミュニティの一部であることを誇りに思っています。 私たちは、開始ガバナンス、柔軟で大規模な適用性、エッジの側面の削減、優れたパフォーマンスを備えたイニシアチブの価格を設定しており、ML ビルダー向けの開始供給エコシステムを拡大するための継続的なコラボレーションを期待しています。 –
アランLee, Company Vice President, Utility Pattern, AMD 腕
「OpenXLA プロジェクトは、ML アプリケーション パターンを簡素化するための重要なマイルストーンです。 私たちは OpenXLA の使命を全面的に支持しており、Arm® Neoverse™ ハードウェアとアプリケーションのロードマップを通じて OpenXLA のバランスと標準化を活用することを目指しています。」 – ピーターGreenhalgh 氏、テクノロジー担当バイスプレジデント兼 Arm フェロー
セレブラス「Cerebras では、基本的に最も関連性の高い AI デバイスを迅速かつ簡単に実行できるように設計された AI アクセラレータを製造しています。当社のシステムとアプリケーションは、顧客がいる場所を離れて、迅速なパターンを可能にします。 、スケーリング、およびイテレーションは、慣習的な ML フレームワークを利用することで、商売はしません.OpenXLA は、より高いステージの ML フレームワークへの全体的なインターフェイスを備えた Cerebras Wafer-Scale Engine を提供することにより、ユーザーの到達時間を延ばし、回答までの時間を短縮するのに役立ちます. OpenXLA エコシステムを手元に置いて、コミュニティの関与、貢献、および GitHub での利用をさらに広げます。」 – アンディCerebras Methods の副社長兼製品責任者であるホック
グーグル
「イニシエート・サプライ・アプリケーションは、AI のブレークスルーを操作するために参加するための代替をすべての人々に提示します。 Google では、OpenXLA プロジェクトに参加して、ML パフォーマンスの慣習を高め、フレームワークとハードウェア間の非互換性に対処し、ビルダーの用途に合わせたケースに対処するために再構成可能な AI ツールの提供と採用を促進するための取り組みを強化しています。 . 私たちは OpenXLA コミュニティと共にこれらのツールを発明し、ビルダーが AI スタックの多くのレイヤーを介してすべてのドローを進歩させることができるようにしています。」 – ジェフディーン、シニア フェロー、SVP、Google Be teacher and AI
グラフコア「私たちの IPU コンパイラ パイプラインは、XLA が公開されてから消滅しました。 XLA のプラットフォームの独立性とバランスの最終結果として、オリジナル シリコンを育てるための完璧なフロントエンドを提供します。 XLA の柔軟性により、IPU の元のハードウェアの側面を公開し、フレームワークのペアでアート パフォーマンスの入札を停止することができました。 XLA によってコンパイルされたコードを実行するシステムによって、1 日に何千万ものクエリが処理されます。 私たちは OpenXLA のルートに腹を立てており、供給開始ミッションに引き続き貢献したいと考えています。 私たちは、これがおそらく AI/ML の最終的なルートのコア部分を持っている可能性があることに注目しています。」 – デビッドGraphcore の Utility Invent ディレクターである Norman
モーガンFuntowicz、機械学習最適化責任者、Hugging Face
インテル「Intel では、AI への参入の民主化に焦点を当てています。Intel の CPU、GPU、Habana Gaudi アクセラレータ、OpenVINO の側にある oneAPI を利用した AI アプリケーション、power MLエクサスケールのスーパーコンピューターから重要なクラウド展開まで、あらゆるワークロード. 他の OpenXLA 参加者と一緒に、私たちは標準を強化するために口を開きます.科学と研究を変える」 – グレッグLavender、Intel SVP、CTO、ユーティリティおよび進化したノウハウ コミュニティのゼネラル マネージャー メタ
「研究では、Meta AI では、OpenXLA ミッションのコア テクノロジーである XLA を利用して、Cloud TPU 用の PyTorch デバイスを有効にし、主要なイニシアチブでの主要なパフォーマンスの向上をやめる計画で. 私たちは、供給の開始が環境内の革新の限界を加速することに焦点を当てており、OpenXLA プロジェクトの一部になることに腹を立てています. – サウスミスPyTorch のリード メンテナ、チンタラNVIDIA「OpenXLA プロジェクトの創設メンバーとして、NVIDIA は、OpenXLA コミュニティと共に AI/ML の進歩に参加することを期待しており、OpenXLA のより広い関与と採用により、ML ビルダーは、アート AI インフラストラクチャ」 – ロジャー・ブリングマン、バイスプレジデント、コンパイラ ユーティリティ、NVIDIA.
謝辞 アビシェーク・ラトナ、アレン・ハッチソン、アマン・ヴェルマ、アンバー・ハフマン、アンドリューリーバー、アショク バート、チャラーナ ベザワダ、チャンダン ダマナガリ、クリス リアリー、コーマック ブリック、デビッド ダンリービー、デビッド マジネマー、エリサ ガルシア アンザノ、エリザベス ハワード、ユージーン ブルマコ、ガディ ハット、ジータ チャウハン、ジェフリー マーティン＝オブリギング、ジョージ カーペンコフ、 イアン・チャン、ジャシンダ・メイン、ジャック・ピナール、ジェイク・ホール、ジェイソン・ファーマネク、ジュリアン・ウォーカー、クリン・セス、クイ・メインワリング、マグナス・ヒッツテン、マヘシュ・バラスブラマニアン、 Mehdi Amini、Michael Hudgins、 ミラド・モーハンマディ、ナヴィッド・カジョエイ、ポール・バウムスターク、ピーター・ホーキンス、プネイト・カウル、プロスペラス・ヒートン、ロバート・ハント、ロスタム・ディンヤリ、スコット・クルチキ、スコット・モストメジャー、スコット・トッド、シャントゥ・ロイ、シャウヒーン・ザヒラザミ、ステラ・ラウレンツォ、ステファン・ハーハット、テア・ラムキン、トレス・ポップ、Vartika Singh、Vinod Grover、およびWill Constable.
