ollama安装手动下载的模型文件
Ollama 不会直接识别丢进 blobs 文件夹的 gguf,不能简单复制进去;有两条路。
方案 A:给 Ollama 导入(如果你想用 ollama run / Qoder 调用)
找一个存放目录,例如:
D:\ollama_local_models把
qwen2.5-coder-7b-instruct-q4_k_m.gguf放这里。在同一个文件夹新建文件,名字就叫
Modelfile(没有后缀),内容:FROM D:\ollama_local_models\qwen2.5-coder-7b-instruct-q4_k_m.gguf TEMPLATE "{{ if .System }}<|im_start|>system\n{{ .System }}<|im_end|>\n{{ end }}{{ if .Prompt }}<|im_start|>user\n{{ .Prompt }}<|im_end|>\n{{ end }}<|im_start|>assistant\n{{ .Response }}<|im_end|>" PARAMETER temperature 0.3 PARAMETER num_ctx 8192在这个目录打开 cmd,执行:
ollama create qwen2.5-coder-local:7b -f Modelfile建好之后就可以:
ollama run qwen2.5-coder-local:7bQoder 里面 Model ID 填
qwen2.5-coder-local:7b。
⚠️:执行 create 的时候,Ollama 会把权重复制一份到它自己的 blob 存储,会占用双倍磁盘。
方案 B:直接给 llama.cpp server 使用(推荐,不复制)
随便放,比如 D:\gguf\qwen2.5-coder-7b-instruct-q4_k_m.gguf,启动命令直接指向这个路径,只用一份文件,省空间,适合你手动下载的 gguf。
llama-server -m D:\gguf\qwen2.5-coder-7b-instruct-q4_k_m.gguf -ngl 99 -c 8192 --port 8080然后 Qoder 连 [http://127.0.0.1:8080/v1](http://127.0.0.1:8080/v1)。
补充
- 不要手动往
%LOCALAPPDATA%\ollama\models\blobs丢 gguf,无效,索引对不上。 - 如果只是想省事,就继续用
ollama pull,不用手动下。 如果是分卷 gguf,Modelfile 里面写:
FROM D:\ollama_local_models\qwen2.5-coder-7b-instruct-q4_k_m-*.gguf


