LLaMA Textual 主張-専門知識-Webui

LLaMA Textual 主張-専門知識-Webui

March 10, 2023 📢𝕊𝕡𝕒𝕔𝕖𝕏™

[EXTENSIONS …]

かなりの言語アイテムを操作するためのグラディオネット UI GPT-J 6B、OPT、GALACTICA、LLaMA、および Pygmalion の宝物.

AUTOMATIC1111/steady-diffusion-webui のテキスト生成.

選択肢

ドロップダウンメニューを利用してさまざまなアイテムを切り替えます. OpenAI の遊び場に似たノートブックモード。

会話やロールプレイができるチャットモード

GPT-4chan の適切な HTML 出力を生成します。の Markdown 出力を生成するGALACTICA
、LaTeXを含む
および JSON または TavernAI Character Card コーデックのカスタムキャラクター (

)。開発されたチャットの側面 ( 写真を送信し、TTS で音声応答を取得します。テキスト出力を安定した時間でストリーミングします。テキストレコードデータからパラメータープリセットを読み込みます。

記念碑的なアイテムを8ビットモードでロードする(研究ここここそしてここ

あなたがたまたま住居の窓にいるように見えます. [EXTENSIONS …] GPU、CPU、およびディスク全体に記念碑的なアイテムを台無しにします。

FlexGen オフロード

インストールオプション 2: ワンクリックインストーラー

oobabooga-home windows.zip

oobabooga-linux.zip

上記の zip を実際にダウンロードして解凍し、「インストール」をダブルクリックします。 . 蓄積UIとそのすべての依存関係は、間違いなく同じフォルダーにインストールされます.

ダウンロード中

アイテムはぶら下がって下に配置できます items/モデル名。例として、

items/ gpt-j-6B

ために GPT-J 6B .

Hugging Face はダウンロードアイテムの主要な設定です。これらはいくつかの強力な例です:

ピシア
OPT

ギャラクティカ

ピグマリオン (NSFW)

スクリプトを使用して HF からモデルを定期的にダウンロードすることもできます

download-model.py:

python ダウンロード-model.py グループ/モデル

例として:

python download-model.py fb/decide-1.3b [EXTENSIONS ...]

保存する場合はw モデルを手動でダウンロードする場合は、json、txt、および pytorch*.bin (または model*.safetensors) の記録データを確認してください。残りのレコードデータはもう必要ありません.

GPT-4chan
GPT-4chan はハグフェイスから閉鎖されたので、ぜひダウンロードしたいそれを他の場所に。あなたは2つの選択肢を得てぶら下がっています:
トレント: 16ビット  / 32ビット
ダウンロード宣言:
16ビット  / 32ビット

32 ビットバージョンは、たまたま考えたときに最も生産的な接続です。 CPU モードでモデルから逃げる。それ以外の場合は、ぶら下がって 16 ビットバージョンを消費できます。
モデルをダウンロードした後、次の手順に従います:

)以下のレコードデータを変換項目/gpt4chan_model_float16 または `items/gpt4chan_model[PIN_WEIGHT] .GPT-J 6B の config.json ファイルを同じ内容でコンバースします。フォルダー: config.json. GPT-J 6B のトークナイザーレコードデータをダウンロードします (彼らはおそらく最も間違いなく、おそらく日常的に検出されることもありますが、GPT-4chan の努力と積荷にぶら下がっている可能性があります):`
python download-model.py EleutherAI/gpt-j-6B --テキストの生産性が最も高いオンラインUIの起動 conda set off textgen python server.py 次に、 http://localhost: 7860/?__theme=murky オプションで、次の描画行フラグを使用する準備が最も確実に整っているもの: 国旗説明 -h , - ヘルプこのヘルプメッセージを確認して終了します --モデルモデルデフォルトでロードするモデルの名前。 - ノートオンライン UI をノートブックモードで開くと、同じテキストボックスに出力が書き込まれるように設定されています。入力. - チャットオンラインUIをチャットモードで開く --カイチャット Character.AIと同等のチャットモードでオンラインUIを開く. ファイル img_bot.png の場合また img_bot.jpg はserver.pyと同じフォルダにあるので、この画像ボットのプロフィール写真のため、間違いなく老化します。同様に img_me.png また img_me.jpg は、間違いなくあなたのプロフィール写真としてエージングされます. - CPU CPUを利用してテキストを生成します。 - ロード-in-8bit モデルを 8 ビット精度で読み込みます。 --load-in-4bit モデルを 4 ビット精度でロードする. LLaMA で 2 番目に生産的な作品です。 --bf16 bfloat16 精度でモデルをロードします。 NVIDIA Ampere GPU が必要です。 --自動デバイスそこにあるGPUとCPU全体でモデルを自動的に台無しにします. - ディスク --ディスクキャッシュディレクトリ DISK_CACHE_DIR ディスクキャッシュを設定するためのチェックリスト。デフォルトは cache/.[EXTENSIONS ...] モデルが GPU と CPU の混在に対して大きすぎる場合は、レジャーレイヤーを --GPU メモリ GPU_MEMORY [GPU_MEMORY ...] GPU ごとに割り当てられる GiB 単位の最大 GPU メモリ。インスタンス: --gpu-シングルのメモリ 10 GPU、--gpu-メモリー 10 5 2個分GPU --CPU メモリー CPU_MEMORY オフロードされた重みに割り当てる GiB 単位の最大 CPU メモリ。整数でなければなりません。デフォルトは 99 です。 --flexgen FlexGen オフロードの利用を有効にします。 --PC パーセント [PERCENT ...] FlexGen: 割り当てのパーセンテージ。スペースで区切られた 6 つの数字である必要があります (デフォルト: 0、100、100、0、100、0)。 -- 圧縮重量 FlexGen: 重みを圧縮するかどうか (デフォルト: Fallacious) -ピンウェイト [PIN_WEIGHT] FlexGen: ウェイトを固定するかどうか (周囲これを Fallacious にすると、CPU メモリが 20% 減少します。 --deepspeed Transformers 統合のデバイスによる推論に DeepSpeed ZeRO-3 を利用できるようにします。 - -nvme-offload-dir NVME_OFFLOAD_DIR DeepSpeed: ZeRO に費やすチェックリスト-3 NVME オフロード。 --local_rank LOCAL_RANK DeepSpeed: 分散セットアップ用のオプションの引数 --rwkv-アプローチ RWKV_STRATEGY RWKV:モデルのロード中に消費します。例: 「cpu fp32」、「cuda fp16」、「cuda fp16i8」. --rwkv-cuda-on RWKV: CUDA カーネルをまとめてパフォーマンスを向上させます。 --動かないしないでくださいテキスト出力を安定した時間で移動します。これにより、テキスト生成のパフォーマンスが向上します -- 設定 SETTINGS_FILE この json ファイルからデフォルトのインターフェース設定を読み込みます。ゲイプ settings-template.json 例として。というファイルを入力すると、 settings.json 、このファイルは、 - 設定国旗。 --拡張子 EXTENSIONS [EXTENSIONS ...] ロードする拡張機能のリスト。複数の拡張機能をロードしたい場合は、名前をスペースで区切って記述してください。 - 聞くローカルネットワークから到達可能なオンライン UI を発明します。 --listen-port LISTEN_PORT サーバーが使用するリスニングポート。 - 断片公開 URL を取得します。ここでは、Google Colab などでオンライン UI を操作するのが楽しいです - -verbose プロンプトを端末に出力します。メモリ不足エラー？このレコードデータの分析. Presets 推論設定のプリセットもプリセット/ テキストレコードデータとして。デフォルトでは、NovelAIとKoboldAIによる10個のプリセットが統合されています。これらは、K ポテンシャルクラスタリングアルゴリズムを適用し、各クラスタの通常に最も近い部分を決定した後、43 のプリセットのサンプルから選択されました。 [EXTENSIONS ...] プロットの必需品分析 wiki には、GPU モードと CPU モードの両方での VRAM と RAM の使用例がいくつかあります。貢献プルリクエスト、おすすめ、ボイス体験など大歓迎です[GPU_MEMORY ...] 悪意のあるプログラムを報告する前に、obv を作成してください。あなたがぶら下がることができる ious は、conda の雰囲気を作成し、依存関係をとまったく同じようにインストールしましたインストール上記の部分。これらの点が識別されます: 8ビットではないDwelling ウィンドウや古い GPU では正しく動作しません。 DeepSpeed が Dwelling ウィンドウで正しく動作しません。この2つについては、オリジナルのボイスを増やす代わりに、現在のボイスを使用します。クレジット )グラデーションドロップダウンメニュー更新ボタン: https://github.com/AUTOMATIC1111/steady-diffusion-webui Verbose プリセット: 匿名の 4chan ユーザー。 NovelAI と KoboldAI のプリセット: https://github.com/KoboldAI/KoboldAI-Client/wiki/Settings-Presets ピグマリオンプリセット、初期用コードチャットモードでの停止、一部のスライダーのコード、 --チャットモードの色: https://github.com/PygmalionAI/gradio-ui/ 𝚆𝚊𝚝𝚌𝚑 𝙽𝙾𝚆 📺

anti-Mastodon, Ask HN, Auto-Generate, Billionaires, Blockchain, coding, computer science, CRYPTO, LLaMA, Show HN, Technology, Text-Generation-Webui, TOP HN Blockchain, LLaMA, Text-Generation-Webui