DeepMind の研究者は、独自に開発した TRAnsformer RASP 用コンパイラ (Tracr ) は、パッケージをニューラル ネットワーク デバイスに解釈するコンパイラです。 Tracr は、GPT-3 と同等の Transformer AI デバイスの機械的な解釈可能性の分析を目的としています。
Tracr は、Restricted Rep のコンパイラです。 Sequence Processing (RASP) 言語への入場。この言語は、本質的に Transformer ベースの完全なニューラル ネットワークがどのように描画されるかを説明する手法として開発されました。 関連して、彼らが制定する効果を生み出す理由を示すために。 Tracr を使用すると、研究者は RASP でパッケージを組み立ててから、実行可能なニューラル ネットワーク デバイスにコンパイルできます。 引き分けは、AI 解釈可能性ツールを評価するための「フロア ファクト」デバイスを提供することです。 DeepMind への回答:
解釈可能性におけるコンパイル済みデバイスの使用について、私たちの想像力と先見の明を概説しました。 Tracr 内および以前の解釈可能性分析の能力アプリケーション。 他の研究者がそれを使用するのを待っています.コンパイルされたデバイスを発見することで、ニューラルネットワークの作業が増幅されることを願っています.
デバイスの詳細な発見がより大規模で複雑になるにつれて、関連出力を生成する方法と理由を示すことがより耐久性が高くなります。 AI の解釈可能性に関する研究は進行中であり、一対の道を追求しています 。 DeepMind チームは、 機械的解釈可能性 を利用するために Tracr を開発しました。これは、デバイスを深く発見する「リバース エンジニアリング」を試みます。 プログラミングの類推は、バイナリ実行可能ファイルから過剰なレベルのソース コードをリバース エンジニアリングすることです。過剰レベルのソースコードから始めて、それをバイナリーにコンパイルすることにより、機械的インタープリターを作成します。 インタプリタが長年にわたって確立されたソース コードを再現できる場合、それはインタプリタの結果が信頼できるという証拠です。
Tracr ソース コードのアナロジー。 画像ソース: https://arxiv.org/abs/2301.05062
実際には Tracr は超高レベルのプログラミング言語 RASP のコンパイラであるため、その類推は非常に正しいです。 RASP は、Transformer マネキンの計算グラフを指定するための言語です。 RASP プリミティブの青写真を Transformer の物質に埋め込み、検討することと同等です。 RASP は、計算の詳細を抽象化することによって、研究者が「変圧器を考える」ことを可能にするために開発されていました。クラフトと呼ばれるトランスフォーマー向けの「アセンブリ言語」。 デバイスは circuits レベルで巧妙に指定されています。 つまり、肉付きの良いニューラル ネットワークのサブグラフです。 Tracr コンパイラは、マネキンの RASP 仕様をクラフトに変換し、クラフト スタウチからコンクリート ウェイトを備えたクロージング マネキンに変換します。デバイスの。 ほとんどの場合、デコーダーのみの Transformer デバイスは、テキストの要約やクイズの回答に相当する純粋言語処理 (NLP) タスクには弱いですが、DeepMind の研究者は、Tracr を弱いデバイスで生成する、より単純なタスク (入力シーケンス内のトークンの選択のカウント、並べ替え) を行います。
解釈可能性ツールを試すためのツールとしての使用に加えて、研究者は Tracr の他の能力アプリケーションも指摘しています。 たとえば、手作業でコード化されたマネキンの側面の実装はコンパイルされており、古くから確立された練習プログラムによって作成されていたマネキンの一部を交換するには不十分な場合があります。
この作業について議論している Twitter スレッドで、Tracr と RASP が対処する可能性のあるコードの複雑さについて 1 人のユーザーが戸惑いました。 DeepMind 分析エンジニア Tom Lieberum が特定されました :
RASP は、WHILE と同じものを所有していないため、合計をチューリングしていません。 それでもないし変圧器。 合計で 1 つのものを所有していると見なすと同時に、RNN の RASP を作成するか、それを尊重するものを 1 つ作成する必要があります。
Tracr コードとたくさんのサンプル が GitHub に入っています.
