M1 Mac と Python 3.11 で LLaMA を利用する

拡張言語モデル戦争でMeta の LLaMA、OpenAI の GPT-3、および Microsoft の Kosmos-1 に対応する模範的なモデルは、ビッグ言語モデル (LLM) のチームに参加しています。このようなモデルで最も効果的なフィールドは、コミュニティでこれらを逃れることができないということです。今まで。ゲオルギ・ゲルガノフと彼の

llama.cpp ミッション専用の GPU を使用せずに、1 台のラップトップで Meta の LLaMA から逃れる方法は想像に難くありません.LLaMAを実行中 M1 Mac でコミュニティで LLaMA を実行するには、多くの手順があります。私はもはや他のプラットフォームや他の OS にこだわらないので、ここにリストされている最も簡単な組み合わせに焦点を当てています.ステップ 1: モデルのダウンロードプロの方法論は、これ
を消費することによってモデルを予測することですリポジトリ発のPRがありますが、他の方法論(おそらく偏りがなく、プロバイダーのフレーズに違反している可能性があります)https://github.com/facebookresearch/llama/pull/73 )とにかく、モデルをダウンロードした後 (または、まったく異なる形式のモデルがいくつかあるため、さらに多くのモデルに取り組みます)フォルダ内) あなたはこれに取り組む 1 つのものを所有したいと思うでしょう: `❯ エクサ --木。 ├── 7B`

│ ├── checklist.chk │ ├── consolidated.00.pth │ └── params.json ├──13B │ ├── checklist.chk │ ├── consolidated.00.pth │ ├── consolidated.01.pth │ └── params.json ├── 30B )│ ├── checklist.chk │ ├── consolidated.00.pth │ ├── consolidated.01.pth │ ├── consolidated.02.pth │ ├── consolidated.03.pth │ └── params.json ├── 65B │ ├── checklist.chk │ ├── consolidated.00.pth │ ├── 連結.01.pth │ ├─ ─ consolidated.02.pth │ ├── consolidated.03.pth │ ├──連結。 04.pth │ ├── consolidated.05.pth │ ├── consolidated.06.pth │ ├── consolidated.07.pth │ └── params.json ├── tokenizer.model └── tokenizer_checklist.chk あなたがおそらくよく知っているようにまったく異なるモデルが紛れもないフォルダーに入っている可能性があります。すべてのモデルには、そのモデルを参照する詳細なプリントで構成された params.json があります。例として:

{ 
  "暗い": 4096
,  "multiple_of":  256,  "n_heads" : 32, 
  "n_layers": 32、
 "norm_eps": 1e-06, 
  "vocab_size": -1 } 
ステップ2: インストール依存関係
Xcode は、C++ ミッションをアセンブルするためにインストールすることで所有することができます。 所有していない場合は、次を取得してください: これらは、C++ ミッションを構築するための依存関係です。 (pkgconfig と cmake).
brew セットアップ pkgconfig cmake 
の中に最後に、Torch をセットアップできます。
 Python 3.11 がインストールされているので、仮想環境のタックルをモデル化する可能性がある: /opt/homebrew/bin/python3 .11 -m venv venv

venvを起動中。私は魚の活用です。他のシェルの場合、最後に .fish サフィックスが必要です。 venv を有効にした後、Pytorch をセットアップできます:

pip3 セットアップ --pre torch torchvision --additional-index-url https://procure.pytorch.org /whl/nightly/cpu

もしあなたがたまたまそのユニークさを活かして面白いと思ったら加速を実践する GPU 用の Metal Efficiency Shaders (MPS) バックエンド次を実行しています。 M1 で LLaMA を実行するのに、[ 4096, 1] はもう必要ありません。

❯ パイソンPython 3.11.2 ([ 4096,     1] メジャー、2月  16 2023年02:55:59
 ) ダーウィン 親切 "援助"、 「著作権」 、 "クレジット" または 「ライセンス」   個のファイルが必要です。 >>> トーチをインポート;  torch.backends.mps.is_available()

正しいさあ、llama.cppをアセンブルしましょう

ステップ 3: LLaMA CPP を組み立てる

リポジトリのクローン: git クローン git@github.com:ggerganov/llama.cpp.git 完全な依存関係を設定した後、おそらくおそらくおそらくおそらくおそらく逃げるでしょう発明：

❯ 発明 I llama.cpp のようなファイル: I UNAME_S: ダーウィン  I UNAME_P:腕 I UNAME_M: arm64  )I CFLAGS: -I.  -O3 -DNDEBUG -std=c11 -fPIC -pthread -DGGML_USE_ACCELERATE I CXXFLAGS: -I.  -I./examples -O3 -DNDEBUG -std=c++11 -fPIC -pthread I LDFLAGS: -framework Velocity up I CC: Apple clang モデル 14.0.0 (clang-1400.0.29.202)  I CXX: Apple クラングモデル 14.0.0
(clang-1400.0.29.202)

 cc -I.  -O3 -DNDEBUG -std=c11 -fPIC -pthread -DGGML_USE_ACCELERATE -c ggml.c -o ggml.o 
 c++ -I.  -I./examples -O3 -DNDEBUG -std=c++11 -fPIC -pthread -c utils.cpp -o utils.o c++ -I.  -I./examples -O3 -DNDEBUG -std=c++11 -fPIC -pthread major.cpp ggml.o utils.o -o major -framework ベロシティアップ  ./major -h

使用率: ./major [options] 代替オプション: -h, --aid この援助メッセージを提示して終了します -s SEED, --see d SEED RNG シード (デフォルト: -1) -t N, --threads N すべてのプランを消費するスレッドを置き換えます。計算による (デフォルト: 4) -p PROMPT, --urged PROMPT で生成を開始するように促されました(デフォルト: ランダム) -n N, --n_ 予言するトークンの N 置換を予測します (デフォルト: 128) --top_k N 高 OK サンプリング (デフォルト: 40) --top_p N 高 p サンプリング (デフォルト: 0.9) -- temp N 温度 (デフォルト: 0.8) -b N, --batch_size N バッチサイズ for[4096, 4096] 強制処理 )(デフォルト: 8)

- m FNAME, --モデル FNAME モデルパス (デフォルト: models/llama-7B/ggml-model.bin)

c++ -I. -I./examples -O3 -DNDEBUG -std=c++11 -fPIC -pthread quantize.cpp ggml.o utils.o -o quantize -framework 速度アップ

`手順 4: モデルの変更`

モデルを llama.cpp リポジトリの models/ の下に配置したと仮定します。

python convert-pth-to-ggml.py models/7B 1[4096, 4096] あなたはこれに取り組む出力を静かな色に所有することができます: {'暗い': 4096, 'multiple_of'[4096, 4096] : 256、 )'n_heads': 32, 'n_layers': 32, 'norm_eps': 1e-06, 'vocab_size': 32000} n_parts [ 4096, 1]=1 Processin シェア 0 処理変数: tok_embeddings.weight with shape: torch.Size([32000, 4096]) およびモデル: torch.drift16 処理変数: norm.weight with shape: torch.Size([4096]) およびモデル: torch.drift16 変化float32 へ処理変数: output.weight with shape: torch.Size([32000, 4096]) およびモデル: torch.drift16 処理変数:layers.0.consideration.wq.weight with shape:torch.Size([4096, 4096]) およびモデル: torch.f loat16 処理変数:layers.0.consideration.wk.weight with形状: トーチ.サイズ([4096, 4096]) およびモデル: torch.f loat16 処理変数: レイヤー.0.consideration.wv.weight with shape: torch.Size([4096, 4096]) と mod el: torch.f loat16 処理変数:layers.0.consideration.wo.weight with shape:torch.Size([4096, 4096]) およびモデル: torch.f loat16 処理変数:layers.0.feed_forward.w1.weight with shape: torch.Size([4096, 4096]) およびモデル: tor ch.drift16 処理変数:layers.0.feed_forward.w2.weight with shape:torch.Size([ 4096, 1]) とモデル: tor ch.drift16 [ 4096, 1] 処理変数:layers.0.feed_forward.w3.weight with shape:torch.Size([4096, 4096]) およびモデル: tor ch.drift16 処理変数:layers.0.attention_norm.weight with shape:torch.Size ([4096]) およびモデル: torch.drift 16 ... 終わり。出力ファイル: models/7B/ggml-model-f16.bin, (シェア 0 ) 次のステップは、originat です。 e 量子化:

./quantize ./models/7B/ggml-model-f16.bin ./models/7B/ggml-model-q4_0.bin 2

出力: [ 4096,     1]llama_model_quantize: './models/7B/ggml- からモデルを読み込み中model-f16.bin' llama_model_quantize: n_vocab

=32000 llama_model_quantize: n_ctx = 512 llama_model_quantize: n_embd =[ 4096, 1] 4096 llama_model_quantize: n_mult =256 llama_model_quantize: n_head =

 llama_model_quantize:  n_layer =32 llama_model_quantize: f16 = 1 ... layers.31.attention_norm 。重さ - [ 4096,     1]、フォーム= f32  サイズ = 0.016MB [ 4096,     1] layers.31.ffn_norm.weight - [ 4096,     1]、 形状 = f32  サイズ = 0.016 MB llama_model_quantize: モデル size = 25705.02MB [ 4096,     1] llama_model_quantize: quant size

= 4017.27 MB llama_model_quantize: hist: 0.000 0.022 0.019 0.033 0.053 0.078 0.104 0.125 0.134 0.125 0.104 0.078 0.053 0.033 0.019 0.022 major: クオンタイズタイム =29389.45 ミリ秒メジャー: 合計時間 =29389.45 ミリ秒