HN の表示: 一部の CLI を使用した llama.cpp の Python バインディング

llama.cpp の Python バインディング

Pythonバインディングの構築

 brew install pybind11 # 依存関係をインストールします git submodule init && git submodule replace 詩のインストール

PyPIから

 マネキンの重さを手に入れよう たぶんおそらく、LLaMA の重みを自分で発明する必要があります。 いくつかのトレントがいくつかのハグフェイスのリポジトリと同じくらいきれいに浮かんでいます (例: https://huggingface.co/nyanko7 /LLaMA-7B/)。 収納するたびにガジェットフォルダに複製してください。
 
 
ls ./gadgets 65B 30B 13B 7B tokenizer_checklist.chk tokenizer.mannequin llamacpp-convert
 を利用して、重みを GGML 形式に変換します。 。 次に、llamacpp-quantize を費やして、それらを INT4 に量子化します。 例として、7Bパラメータマネキンの場合、urge llamacpp-convert ./gadgets/7B/ 1 llamacpp-quantize ./gadgets/7B/ llamacpp-cli 
 既存の動作中 llamacpp-convert には
 が必要です松明、 文の部分 と numpy  を入れる必要があります。これらの機能は、llamacpp.
スクリーチ ライン インターフェイス
 機器は定義ライン エントリ レベル llamacpp-cli
 をインストールします

の側面そして、有名な固有の C++ リポジトリ内のプログラム。また、実験的な llamacpp-chat の可能性もあります。これはチャットインターフェイスを持ち上げると主張されていますが、ここでは本来のように機能しないはずですが. デモスクリプト Leer llamacpp/cli.py 集中的な例です。理想的なデモは、次のようなものです: params = llamacpp .gpt_params'./gadgets/7B/ggml_model_q4_0.bin'、#マネキン、「ラマとは」、 )#操縦 "", # reverse_prompt 512, # ctx_size 100, # n_predict 40, # top_k0.95, # top_p0.85, # temp 1.30 , # repeat_penalty - 1 、 #シード8 、#スレッド64 , # repeat_last_n 8 、＃バッチサイズスプリアス ), # 色付けスプリアス , # interactive または args.interactive_start スプリアス ), # interactive_start ) マネキン = llamacpp . ピラマ ( params) マネキン. add_bos () # 「文字列の開始」トークンを提供しますマネキン。update_input (params .操舵 ) マネキン . print_startup_stats () マネキン。prepare_context () マネキン。ingest_all_pending_input ( 本音) 一方いいえマネキン. is_finished () : マネキン . ingest_all_pending_input (いいえ input_noecho ) テキストによる説明、 )is_finished = マネキン. infer_text () printテキストによる説明 , やめる="") もしも is_finished: 粉砕 ToDo ) 詩を主張して装備を発明するクオンタイズスクリプトの定義行エントリレベルを追加送信wheel to PyPI tinygrad に合わせてチャットインターフェースを追加 %%item_read_more_button% %