Llama-CPU: CPU でクロールする Facebook の LLaMa モデルのフォーク

それは https://github.com/facebookresearch/llama の fork であり、CPU 上でクロールします。 )

使用方法とセットアップはまったく同じです:

1. conda 設定を作成します (私にとっては必要です) Python 3.10 は、いくつかの pytorch ワームの結果として、3.11 よりわずかに小さいですか?)

pip setup -r requirements.txt

7Bモデルでテスト済み。 32GiB の RAM を使用しても、モデルをロードするためにスワップ スペースまたは zram を有効にする必要があるように思われます (おそらく、またはもはや変換を行っていないのでしょうか?)。現実的な <20GiB の RAM。