超AIユニットから生まれる予測不可能な能力

しかし、研究者は、モデルの複雑さが完全に利用できる要素ではないことにすぐに気付きました。 いくつかの驚くべき才能は、戦略が十分に過剰な品質に変化した場合、より少ないパラメータでより小さな項目から追い出されるか、より小さなデータ項目で訓練される可能性があります. 質問を言葉に変える方法は、モデルの応答の精度に影響を与えました。 Dyer 氏と彼の同僚が映画の絵文字アクティビティに 1 つ以上の形式を使用させたとき、一言で言えば、正確さの向上は驚くべきジャンプではなく、複雑さを伴う段階的な上昇に変わりました。 そして 12 か月の締めくくりに、この分野の旗艦会議である NeurIPS で発表された 論文で、Google Brain の研究者は、モデルがどのようにしてそれ自体を証明するようになったかを示しました (chain-of-設計図の推論) はおそらく数学のフレーズ ステーションを解決することになるでしょうが、それが促されない同一のモデルはおそらくおそらく今も解決されないでしょう.

Yi Tay は Google Brain の科学者で、突破口の体系的な調査に取り組んでおり、青写真のチェーンのプロンプトがスケーリング曲線を変更し、この真実の結果として、出現するポイント。 Google の研究者は、NeurIPS の論文で、チェーン オブ ブループリント プロンプトを使用すると、BIG-bench leer では現在診断されていない緊急の行動を誘発する可能性があることを示しました。 その推論を証明するためにモデルに疑問を投げかけるこのようなプロンプトは、研究者がなぜ出現が起こるのかという研究を開始する正直な動機になるでしょう.

これらのような新鮮な発見は、言語の計算項目を評価するブラウン カレッジの PC 科学者である

エリー パヴリック は、なぜ出現が起こるのかについて少なくとも 2 つの可能性があると述べています。 1つは、生物学的方法との比較で指示されているように、実際に実際に実行されるアイテムの上昇は、自然に新しい才能を生み出すということです. 「モデルが、より小さな次元では一致しない、主に新鮮で変化に富んだものを1つ発見したことも、正直なところ非常にうまくいくでしょう」と彼女は述べた. 「それが私たち全員が望んでいることであり、アイテムが拡大されたときに重要な変化が起こることです.緊急のように見えるのは、代わりに、一連の青写真形式の推論を通じて機能する内部の統計に基づいたプロジェクトの集大成であるため、正直である可能性もあります。 スーパー LLM は、パラメータが少ない、またはデータの品質が低い場合には達成不可能なヒューリスティックを見つけるだけである可能性があります.

しかし、彼女は、それらのどれを見つけて説明は、LLM がどのように機能するかをより深く理解することにかかっている可能性が高いです。 「ボンネットの下でそれらがどのように機能するかを認識していないため、どの問題が発生しているのかを言うことはできません。」

予測不可能な力と落とし穴

これらのアイテムに、自分自身を証明する: 彼らは悪名高いうそつきです. 「私たちは流行の仕事で制定するためにこれらのアイテムにますます依存しています」とガングリは述べました。 私は彼らの仕事をチェックします。」 多くの楽しい例の 1 つとして、Google は 2 月に AI チャットボット Bard を発表しました。 新しい楽器を発表するブログ投稿は、吟遊詩人 が正直に正しい誤りを犯していることを示しています .

予測不可能な出現の結果、そして予測不可能性 – スケーリングで上昇するように見える – は、研究者が流行の雇用の意味に頼るのを洗練させます.虚弱または配備された」とガングリは述べた。 「そして、創発的な現象を調べるには、常に念頭に置いてケースに同意する必要があります。同様に、規模の影響を調べるまで、どのような機能や障害が発生する可能性があるかはわかりません。」

6月の終わりにリリースされたLLMの分析で、Anthropicの研究者は、アイテムが明確な形態の人種をブランド化するかどうかをチェックしましたまたは社会的偏見、今では 以前に報告されたもの とは異なり、非 LLM 基本ベースの完全なアルゴリズムでは、どの弱い犯罪者が傾向があるかを予測するのが難しい別の犯罪を犯します。 物事が出現に直接結びついている明らかなパラドックスに感銘を受けているように見えるのは変わります: アイテムがスケールアップしたときにパフォーマンスが強化されるにつれて、予測不可能な現象の可能性がさらに高まる可能性があります。 .

「いくつかの項目で通知なしに達成するという明確な欠陥のある動作形式」とガングリは述べています。 彼は、BBQ ベンチマークとして診断された LLM の 新たな分析 に別れを告げ、天文学的な数のパラメータで社会的偏見が現れることを示しました。 「予告なしに大きなアイテムは余分なバイアスに変わります。」 その脅威に対処しなければ、おそらくそれらのアイテムの問題も危険にさらされる可能性があると彼は述べた.固定観念や社会的偏見 – 文字通りそれらの指示を入力することによって – モデルは、その予測と応答においてより偏りの少ないものに変わります。 いくつかの新しい特性がバイアスを減らすのに脆弱である可能性があるという能力. 2月に発表された論文で、Anthropicグループは真新しい「正直な自己修正」モードについて報告しました。

Emergence は、Ganguli が述べたように、すべての不快で最も可能性が高く、予測不可能な脅威を見つけます。 これらの実質的なLLMの機能はすでに急増しているため、その相互作用をより深く理解することが、言語アイテムのさまざまな才能を活用する動機となります.

これらの方法の使用に疑いを持たないでください」とGanguliは述べました。 しかし、これらの顧客は常にいじくり回しています。 「私たちは自分たちのアイテムと正しく話すのに多くの時間を費やしています」と彼は言いました。 𝚆𝚊𝚝𝚌𝚑 𝙽𝙾𝚆 📺