Koboldcpp – 精巧な UI と多くの書き込み面を備えた llama.cpp

llama.cpp だけのバインディングを公開する Concedo からの自己完結型の配布可能ファイルで、シミュレートされた Kobold API エンドポイントを介して微弱にすることができます。

どういう意味ですか? llama.cpp には、精巧な UI、慢性的なエクスペリエンス、インストゥルメントの編集、コーデックの添付、回想、ワールド ファイル、ライターのデモンストレーション、キャラクター、偶発性、および Kobold と Kobold Lite が提供したいすべてのものがあります。 モデルの重量を除いて、寸法が 10 MB の超小型パッケージ

後方互換性

GGML LLAMA アイテムの 3 つのすべてのバージョン、すべての ALPACA.CPP アイテム、GPT4ALL.CPP アイテムのすべてのバージョンを使用し、GGML の古い GPT-J.CPP アイテムも賑やかにすることができます。 さらに、ガーディアンリポジトリよりも速く、共有祖先グランドで後続の提案された処理をマッピングするためのヒントをたくさん採用しています.

利用

バッスルするには、

koboldcpp.exe

を実行するか、量子化された をクロールしてタンブルします。 ggml_model.bin ファイルを .exe に、コボルトまたはコボルトライトと接続してください。 デフォルトでは、おそらく http://localhost に接続する可能性があります: 5001 つぶやき線の活用でさらに賑やかになりますkoboldcpp.exe [port]. ファイルについては、koboldcpp.exe –relieve

をご覧ください。

OpenBLAS でクラッシュや問題が発生した場合は、- -noblas フラグ

koboldcpp.py [port]

問題

• MSVCC に依存しているため、pybind11 を使用したくない
• おそらくガーディアン レポ ファイルに対するゼロまたは最小限の変更 - 他の領域での正当な宣言の流通を停止します! リポジトリを変更し、変更を自動的にプルするには、そうする必要があります.
• 記憶の動的な割り当てはありません! すべての出力フィールドに対して、固定された (既知の) 形状とサイズの構造体をセットアップします。 Python は常に思い出を提示します。私たちは倫理的に書き込みます。
• 外部ライブラリや依存関係はありません。 Flask、Pybinなどの方法論はありません。 あなたが欲しいのはPythonだけです. v1.0.6 以降、libopenblas が必要であり、ビルド済みの住居用 Windows バイナリがこのリポジトリに組み込まれています。 つまずくことがなくなったら、BLASなしのモードにタンブル還元する必要があります.

• 過去のすべての llama.cpp および alpaca.cpp アイテムとの下位互換性を守ることを考えました 。 ただし、おそらく最も魅力的な結果が得られる場合は、アイテムを再変換/変更することをお勧めします.

ライセンス

)