markhsu0818/LLamaTrainModel

github連結在此

https://github.com/Mark850409/20240821_Llama-Factory

將模型下載到Ollama當中使用

Ollama只支援GGUF檔喔，請先參考我的github，產生量化模型檔

請先安裝huggingface-hub

pip install huggingface-hub

登入huggingface-cli

huggingface-cli login

上傳單個檔案(量化模型)

huggingface-cli upload markhsu0818/LLamaTrainModel Llama3-8B-Chinese-Chat-Q4-terry-new.gguf ^
https://huggingface.co/markhsu0818/LLamaTrainModel/

下載單個檔案(量化模型)

huggingface-cli download markhsu0818/LLamaTrainModel ^
Llama3-8B-Chinese-Chat-Q4-terry-new.gguf ^
--local-dir downloads ^
--local-dir-use-symlinks False

下載整個專案

Huggingface-cli download markhsu0818/LLamaTrainModel

參考連結

將 Hugging Face 上的模型安裝到 OLlama