頑丈な Apple Silicon エンハンスを使用した Pure C++ の LLaMA-7B

説明

最も重要な手順は、モデルに MacBook の 4 ビット量子化を使い果たすことです。

依存関係のない C/C++ 実装は否定できない
F16 / F32 精度のブレンド

作る -j

&& ./主要 -m ./単位/7B/

ggml

–モデル-q4_0

。置き場 -t 8

-ん

 
128
 私

ラマ.

cpp
  

発信元

情報

： 私 UNAME_S:

ダーウィン
 :  )腕 私 UNAME_M: arm64
   私 
  私 CXXFLAGS : -私。  -私./例  -O3
 -DNDEBUG
 -std=c++
11
 -fPIC[end of text]  -pthread  私 LDFLAGS: -フレームワーク 勘 私
 バージョン 14.0
1400.0
 ) 私 CXX: りんご clang バージョン
14.0 
.0
 (
 )clang
-
1400.0
 ) 
c
++ -
私。  -私./例  -O3
 -DNDEBUG
 -std=c++
11
 -fPIC[end of text]  -pthread  主要。cpp ggml
 .o  ユーティリティ.
 これ 割引 メッセージ
 
 と
 シード、 --
シード
SEED
  
RNG
 
 種 ( デフォルト
： -1
 に 排気 の最後に*)
計算  (デフォルト: 
4
) -
p  促す、  - 急速 促す 急速  )に 配信アップ 
ノーハウ と
 (
デフォルト: 
ランダム ) -
n
N, --
n_predict  
N
 量 の トークン に 予測する (デフォルト: 128 ) --
top_k
 ん 上-わかった
サンプリング (デフォルト： 40
  ) --
top_p
 ) -b
 N
, --
 バッチサイズ
ん 
  (デフォルト: 8) -m FNAME )、  - モデル
 
FNAME
  モデル
 
 方向
 (デフォルト： ユニット/ラマ-7
B/
ggml -モデル.
 llama_model_load : 読み込み中
 
 モデル から './units/7B/ggml-model-q4_0.bin' - お願いします
 llama_model_load: n_vocab=32000
 : n_ctx
=)512 llama_model_load: n_embd=4096 llama_model_load : n_mult[end of text]=256
 llama_model_load
: n_head=32 llama_model_load: n_layer=32  llama_model_load: n_rot=64
 llama_model_load: f16
=
2
 llama_model_load:
 ctx  サイズ=
4529.34
  llama_model_load[29889, i] :  )memory_size=
512.00
 MB, n_mem
=
16384  
llama_model_load[end of text] : ......................... ...........
実行しました 
llama_model_load:
 の 急速
=2
 1
 -> '' 3644
 ->
 , top_k
=40
,  top_p=0.950000
 戦争 
トリロジー
 、 それから
 あなたはこれを見たいと思うでしょう。 もしも あなた ドン あなたのビッグ タイトル ウォーズの伝承を知りません。多分少し進んでいます。 ポジティブ 映画。  [end of text] 主要:
mem[29889, i]  
 )当り
 
トークン
=14434244
バイト
 主要： ロード )時間=
1313.77  MS 主要： パターン 時間=6.17
 MS 主要: 予測する 時間=3271.53 MS /
54.53  MS 
 per
 
トークン 主要： 完了 時間=4797.98
 MS
使用法
 
# このリポジトリを作成します git clone https://github .com/ggerganov/llama.cpp
cd
 llama.cpp make
#
 一意の LLaMA モデルの重みを作成し、それらを ./units ls で面積化します。 /units 65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model # 変換7B モデルから ggml FP16 レイアウト python3 convert-pth-to-ggml.py units/7B/ 1
#
 モデルを 4 に量子化します-bits ./quantize ./units/7B/ggml-model-f16.bin ./units /7B/ggml-model-q4_0.bin 2
# 推論を投げつける ./main -m ./units/7B/ggml-model-q4_0.bin -t 8 -n 128
境界
現在、より大きなユニットのテンソルをマージする流行を把握していないため、最も手軽な LLaMA-7B がサポートされています。 それからもう一度、原則として、64GB の MacBook で 65B を飛ばすことを考えるべきです
 [29889, i] 私のトークナイザーが魅力的かどうか、もはや確信が持てません。 間違いがあるかもしれない添付ファイルの領域について:
 
  ために 私 の 範囲(
32000
): 
 
 # TODO: 間違いなく有害です - このトークナイザーがどのように機能するかわかりません
 
 # 最初のバイトを選択 ('.' の繰り返し)
 
fout
 。書く(struct。パック("私"、 レン( 文章))) 
 
 フォ ut
.
書く(文章) 
  
  
 // 参照: https://github.com/google/sentencepiece
 const gpt_vocab & 語彙, const std::string
𝚆𝚊𝚝𝚌𝚑 𝙽𝙾𝚆 📺