Meta は最近、LLaMA をリリースしました。これは、70 億から 650 億のパラメータに及ぶ一連の基本的なトール言語オブジェクトです。 LLaMA は、GPT-3 よりも小さいがパフォーマンスが優れているため、何百もの興奮を生み出しています。 説明すると、LLaMA の 13B アーキテクチャは GPT-3 よりもパフォーマンスが優れており、トピックは 10 イベント小さくなっています。 この新しい一連のプライマリ オブジェクトは、より高速な推論パフォーマンスと chatGPT のような正確な時間のアシスタントへの扉を開き、料金効率が高く、単一の GPU で実行されます
そして、LLaMA ターンヒューマン ソリューションからの強化学習 (RLHF) コーチング プロセスにより、指導の仕事に合わせて最適化されなくなりました。
理想的なニュースは、ChatLLaMA、RLHF ごとの LLaMA の最初の開始提供の実装:
- 完全な開始提供の実装
- 真のChatGPTとは対照的に、コーチングプロセスとシングルGPU推論LLaMA アーキテクチャのより小さな次元に関連する偏見のない適切なものを採用することで、より強力で迅速かつ費用対効果が高くなります。
- DeepSpeed ZEROで超絶チューニングを高速化
- ライブラリはすべての LLaMA モデル アーキテクチャ (7B、13B、33B、65B) もサポートしているため、コーチングの好みに応じてモデルを最適に調整できます。
たまたまプロジェクトが好きだったので、有名人との別れ
からの画像) OpenAI のブログ 
.
ChatLLaMA を使用すると、LLaMA ベースのアーキテクチャを同じ言語で簡単に発音できます。 ChatGPT 機能、RLHF の使用。 説明のために、ChatLLaMA 7B の場合のコーチングを開始するコードを以下に示します。
から chatllamaRLTrainerからチャトラマ.rlhf.インポート 構成 道 =“path_to_config_file.yaml”config= メタの実際の重みを提供するためにサルベージする可能性があることを正当化してください優れた調整プロセスを開始するよりも早く、カスタマイズしたデータセットを作成します。 または、LangChain のエージェントを使用して、データセットを true として受け入れを生成することもできます。
パイソンgenerate_dataset.py ChatLLaMA の実装を繰り返すためのすべてのコードを初期化しました。これにより、カスタマイズされた ChatLLaMA アシスタントを使用して、すべてのユーザーが自分の受け入れを真に調整する機会が開かれます。 ライブラリは非常に初期の段階にあります。 次の追加により、チャンスごとにさらに長くなる可能性があります:
見事に調整された重みを持つチェックポイント より迅速な推論のための最適化方法 モデルをパッケージ化する動機展開フレームワークを啓蒙する環境
すべてのビルダーは、ChatGPT を啓蒙し、開始するより多くの雰囲気の方向への Nebuly の努力を添付するように招待されています
次のプログラムにも参加します:
GitHub に論争や PR を投稿してください 私たちに参加してください Discordクルー
