Exploring Foundation Items シンポジウムからの分析の洞察

はじめに

ファンデーションアイテム は、両方の マシンが発見する に比類のない影響を与える重要な AI プログラムの異常なクラスです。 ) 研究および産業用途。 私は最近、主催のExploring Foundation Items シンポジウムに参加しました。 アラン・チューリング研究所. この大会では著名な講師と実践者が一堂に会し、驚きの構築ノウハウによって、この保証、限界、将来の方向性を探求しました。

ファンデーションアイテムの考察

ようこそ、ご紹介

教授

Michael Wooldridge は、ファウンデーション アイテムの高いレベルの概念でトーナメントを開始しました. 彼は GPT-3 および ChatGPT。 マイケルはまた、これらのアイテムを際立たせる最も重要な特徴を簡単に共有しました。 これらのほぼすべてがパラメータの次元であり、要件の方向に向けての重い作業です。 実行するために、彼は幻覚や偏見の傾向などの最近の限界を並べました.

ハイライト アラン・チューリング研究所の願望は、主権AIの有用なリソースの前に英国をマニュアル化することです

巨大言語アイテムの進化

教授 Phil Blunsom は、方法の基本を定義しました 言語項目 は、 の仕組みに移行する前に機能します (言語項目は単語の連鎖とは異なるものを構築します)。 変圧器構造。 トランスフォーマーは 2017 年に開発されたもので、純粋言語処理における最新の技術革新の責任を負っています。 その後、フィルは、LLM がすべての標準データセットについて公正に知識を持っているという条件で、マネキン評価の課題をうまく認識しました.

ハイライト

の方向に働いている怒りっぽいマネキンは、記録が非効率的 (約 1 兆トークン) であり、費用がかかる (1 ～ 2 か月で 0.5 エクサフロップスのコンピューティング)

監修中 命令に続く の LLM の方向*) はより効率的なレコードですが、人による注釈の費用がかかるためコストがかかります

関連作業

驚異的な言語ファッションにおける常識的な記録データの体系的調査 一般言語知能の研究と評価 PLM が直面する課題と、事実の強化と評価からの緩和策 教授 Maria Likata 始めました予備知識言語アイテム (PLM) など) BERT と GPT-3。 PLM の強みには、テキスト内の増加した影響の共起を使い果たすスキルと、その が含まれます。 独創的な書き込み機能。 Maria はまた、プライベート性の問題 (ほとんどの PLM は完成品です) や、LLM の長いシークエンスでの惨めなスキルなどの課題を明らかにしました。 主要なイベントを使い果たし、生成された要約で一時的な影響を保持したい場合、長いシーケンスの惨めさは特にポジティブです.

ハイライト

• PLM の事実は、暗黙的および/または明示的な組み込みのアイデアによって強化されます

いくつかの暗黙のアイデアは、事実に基づく保存と事実に関連する事前訓練です 明快なアイデアにはマネキンが含まれます変更、事実の融合、および記録の検索を入力してください

関連作業

GiBERT: マイルド ウェイト ゲーテッド インジェクション法を利用した言語レコードデータによる BERT の強化

人間中心のベン正直な展開のための基礎アイテムのchmarking

Katie Collins‘ のプレゼンテーションでは、ファンデーションアイテムの珍しいベンチマーク。 LLM は、以前に検討した言語から予測可能な応答を教えられる傾向があります。 Katie の仕事は、LLM が本質的に目標に基づいた計画と非公式の明確化のプロンプトに答えるときに所有できる言語を制限します。 ここで、同じイニシアチブで人間のパフォーマンスと並べると、パフォーマンスを測定するための効率的なベンチマークにつながります LLM の推論 機能。

ハイライト

人々は両方でLLMよりも優れています制約のある計画と明確化の取り組み

関連作業

構造化され、用途が広く、頑丈: 巨大な言語項目のベンチマークと改善をより人間的な方向に進めます。分布外推論イニシアチブにおける宝の行動

長いビデオ用の階層型 3D アダプター -テキストへの要約

教授 ミレラ・ラパタ の複雑さの間、私たちを歩きました要約割り当て。 最も主要な課題の多くは、長いエンター シーケンス (約 23,000 ワードの 115 分の映画)、複雑なセマンティクス、評価 (きらびやかな要約を作成するもの)、および

を統合しました。 レコードの希少性。 彼女は、SummScreen3D などの異常なデータセットや、レコードの不足に対処するためのパラメーター効率の高いアイテムを使用して、これらの懸念にうまく対処できる可能性があることを探りました

ハイライト

複数のモダリティを組み合わせたアーキテクチャで要約を開発する可能性が最も高いです 関連作業

• ビデオからテキストへの長い要約のための階層型 3D アダプター

基礎アイテムのチャレンジ

教授 Anthony Cohnのスピーチは、早々にFA中の旋風ツアーでした。 モデルセンス推論イニシアチブでのファンデーションアイテムのモード。 彼の実験は、ChatGPT がさまざまな種類の Winograd スキーマ から緯度、料理、液体についての推論まで！ これらの例は、テキスト レコードに基づいて作業するだけで、ちょっとした正しい世界がどのようにうまく機能するかを確認しました。

ハイライト

私たちは常に平和であるべきですファウンデーションアイテムからのアウトプットを利用する際には注意し、そのパフォーマンスを完全にベンチマークしてください

関連作業

のフレームワークAI 概要 計測器の分類

おそらく私たちを想像しないファンデーションアイテム知る

教授 Yarin Gal はファンデーションアイテムをより重要視する研究を発表しました。 この作業では、LLM は、自信を持って認識できない質問が提示されたときに、より多くの事実をクイズする実行可能性を染み込ませます。 あいまいな要求が提示されると、人々は自然に質問を明確にするためにクイズを出します。 Yarin は、 の CLAM フレームワークを示しました要求応答のイニシアチブにより、マネキンの調整精度が 34.25 から 54.4 に増幅されました。

ハイライト

ある種のメタ認知 (熟考について熟考すること) を導入するLLM の展開は、これらのプログラムに自信を持つための道筋を提供します

関連作業

CLAM: 生成言語ファッションによる曖昧な質問の選択的明確化

語学項目の総合評価

教授 Percy Liang は、 に関するプレゼンテーションで一連の講演を締めくくりました。 兜 これは、複数の次元にわたるファンデーション アイテムの完全なベンチマーク スイートです。 このイニシアチブは、より多くの資金を調達することを目的としています 透明度 を非常に巨大な言語アイテムにすると同時に、マネキン パターンのせいにすることをさらに奨励します。 これは、悲嘆イニシアチブの体系的な調査、マルチメトリック ディメンション (正確性、堅牢性、コラボレーションなどを含む)、およびクローズド ソースとオープンソースの両方の項目にわたる標準化によって達成されます。

ハイライト

HELM は繰り返し改善された手順であり、明確な結果が得られます。 LLM-本質的に基づいた研究と商品

関連作業

言語ファッションの全体像

基礎の上に構築する: AI はここからどこまでインチングしますか? ?

シンポジウムは、一般的な上記のオーディオ システムと 博士 ローラ・ギルバート. 質問は、基礎アイテムの今後の研究方向から産業応用へのステップにまで及びました。 繰り返されるテーマの 1 つは、ソースが公開されていない アイテム。 これらのアイテムは、記録の方向性と作業に関する詳細のために、徹底的な調査を行うのが難しいものです。 方法論は不明です。 さらに、これらの何百ものアイテムは、API。 さらに、巨人に起因する学術機関にとって、同一の項目の方向に取り組むことは実行不可能です 手数料 compute。 これらの特性は、基礎マネキン研究の主要なボトルネックです。 パネリスト全員が、財団マネキンの機能がよりオープンで人類にアクセスしやすい未来に向けた強化について全会一致でした.

豪華な会話 ファンデーション シンポジウムの哲学は驚異的でした。 とはいえ、休憩の合間に交わした会話のおかげで、この大会は私にとって忘れられないものになりました:

ユアンからの連絡はすぐに注目を集めました銀行がマルチモーダル記録をどのように統合して、その可能性をより効果的に軽減しているか。 また、粘り強さの重要性についても話しました。ますます技術的な世界で成功するためには、注目の的となるものをすばやく発見し、注目の的となります ) ナイジェル教授と私は、AI 意識に懐疑的になりました。 AI プログラムが不眠を人間と同じ程度にタグ付けする方法は明らかではないようです (結局のところ、知性はもはや意識と同じではありません)。 Nigel は最近印刷しました 本質的に最も注目を集めるマシンの押し上げ: ロボットの目を通して利点を探る 読むのが待ちきれません ファウンデーションアイテムの統合が正しい世界のプログラムでより一般的になってきているので、私はジェームズとジャンルカが構築しているのを見るとすぐに陽気になりました バウンティフルAI。 これにより、実践者はさまざまな指標にわたって基礎項目から事実を探ることができます。 レイテンシーとバリューは制作プログラムに不可欠な要素であり、それらの技術は企業間のソフト スイッチングを容易にします

シャム博士は、チューリング研究所でAIプログラムに道徳的枠組みを吹き込むために行っている仕事について、親切に教えてくれました。 システムの実行可能なすべてのユーザーに対して、単一の認定フレームワークを増やすことは不可能であることに触れました。 人間の好みの多様性を考えると、AI プログラムをカスタマイズして、さまざまな料金プログラムを可能にすることが最も重要です

のベサニーと話すのが大好きでしたカレッジ

基礎アイテムの制約について。 Pradnya と Jay と、レコード サイエンス市場と で修士号を取得するまでの旅について話をするのは、まさに巨人でした。 Utilized Man made知能

結論

ありましたファウンデーション アイテム シンポジウムでは実際に有益な時間でした。 Get entry to Fund を通じて緩和するための青写真を私に与えてくれた The Alan Turing Institute に特に感謝したいと思います。 特定のエクスポージャーは マイケル・ウールドリッジ教授, ルース・ドライスデール と

トーナメントを主催したケイティ・トンプソン。 私は彼らの研究を共有するための一般的なオーディオ システムを大切にしています。 私は今、ファンデーションアイテムの可能性と限界を完全に判断しています. 私の事実は、誇大宣伝とは異なり、本質的により根拠があります。

しかし、の転換点に達したことは明らかですマシンがシステム機能を検出しています。 シンポジウムに続いて、ミクロとマクロの両方のスケールで最も注目を集める人類の破壊を本質的に緩和するこれらのアイテムを所有することにさらに元気づけられています. AIの長期化は基本的に実現！

𝚆𝚊𝚝𝚌𝚑 𝙽𝙾𝚆 📺