今までHuggingfaceからGGUFファイルをダウンロードするのに一々、Text Generation WebUI を立ち上げていました。さすがに面倒になったので、コマンドラインでのダウンロード方法を調べた覚え書きメモです。

必要なパッケージをアップデート、なかったら入れる

pip install -U huggingface-hub

以下を入れると速くなるみたい？　

pip install hf_transfer

上を入れたら、下記で設定らしい

HF_HUB_ENABLE_HF_TRANSFER=1

例その１
実際にダウンロードするサンプル
ReadyON/Vecteus-V2-7B-gguf
の場所にある
Vecteus-V2-7B-Q5_K_M.gguf
を実行directoryへとダウンロード　

huggingface-cli download ReadyON/Vecteus-V2-7B-gguf Vecteus-V2-7B-Q5_K_M.gguf --local-dir .

別な例

Local-Novel-LLM-project/Ninja-V2-7B
のファイルにあるNinja-V2-7B-Q8_0.gguf をダウンロード

huggingface-cli download Local-Novel-LLM-project/Ninja-V2-7B Ninja-V2-7B-Q8_0.gguf --local-dir .

#AI #AIとやってみた #やってみた #Huggingface #大規模言語モデル #ローカルLLM