ollama安装手动下载的模型文件

Ollama 不会直接识别丢进 blobs 文件夹的 gguf，不能简单复制进去；有两条路。

方案 A：给 Ollama 导入（如果你想用 ollama run / Qoder 调用）

1. 找一个存放目录，例如：

   D:\ollama_local_models

   把 qwen2.5-coder-7b-instruct-q4_k_m.gguf 放这里。

2. 在同一个文件夹新建文件，名字就叫 Modelfile（没有后缀），内容：

   FROM D:\ollama_local_models\qwen2.5-coder-7b-instruct-q4_k_m.gguf
   
   TEMPLATE "{{ if .System }}<|im_start|>system\n{{ .System }}<|im_end|>\n{{ end }}{{ if .Prompt }}<|im_start|>user\n{{ .Prompt }}<|im_end|>\n{{ end }}<|im_start|>assistant\n{{ .Response }}<|im_end|>"
   PARAMETER temperature 0.3
   PARAMETER num_ctx 8192

3. 在这个目录打开 cmd，执行：

   ollama create qwen2.5-coder-local:7b -f Modelfile

   建好之后就可以：

   ollama run qwen2.5-coder-local:7b

   Qoder 里面 Model ID 填 qwen2.5-coder-local:7b。

⚠️：执行 create 的时候，Ollama 会把权重复制一份到它自己的 blob 存储，会占用双倍磁盘。

方案 B：直接给 llama.cpp server 使用（推荐，不复制）

随便放，比如 D:\gguf\qwen2.5-coder-7b-instruct-q4_k_m.gguf，启动命令直接指向这个路径，只用一份文件，省空间，适合你手动下载的 gguf。

llama-server -m D:\gguf\qwen2.5-coder-7b-instruct-q4_k_m.gguf -ngl 99 -c 8192 --port 8080

然后 Qoder 连 [http://127.0.0.1:8080/v1](http://127.0.0.1:8080/v1)。

补充

• 不要手动往 %LOCALAPPDATA%\ollama\models\blobs 丢 gguf，无效，索引对不上。
• 如果只是想省事，就继续用 ollama pull，不用手动下。

• 如果是分卷 gguf，Modelfile 里面写：

  FROM D:\ollama_local_models\qwen2.5-coder-7b-instruct-q4_k_m-*.gguf

版权属于：Joyber

本文链接：https://blog.qqvbc.com/default/ollama.html

转载时须注明出处及本声明