对的，这个提示基本可以确认 你的程序现在是在 CPU 模式下运行，而不是用 GPU。

uv run webui.py 只是负责运行脚本，它本身不会决定用 CPU 还是 GPU，真正决定 GPU 是否可用的是 PyTorch 能否检测到 CUDA。

为什么会进入 CPU 模式？

可能原因有几个：

  1. PyTorch 安装的是 CPU 版本
    如果你安装的是 torch==x.x.x+cpu，那自然不会用 GPU。

  2. PyTorch 是 GPU 版本，但驱动或 CUDA 不匹配

    • 驱动太旧（虽然你 nvidia-smi 显示 12.4，但 PyTorch 可能找不到合适的 CUDA 版本）
    • PyTorch 支持的 CUDA 版本和驱动支持的不一致（不过 12.4 驱动是向下兼容的）
  3. 代码里强制用 CPU
    有些项目在启动时会检测 torch.cuda.is_available()，如果返回 False，就会打印 "CPU mode" 提示。

如何确认 PyTorch 是否能使用 GPU？

在终端运行：

uv run python -c "import torch; print('torch:', torch.__version__); print('cuda available:', torch.cuda.is_available()); print('torch cuda version:', torch.version.cuda)"

预期输出（GPU 可用）：

torch: 2.4.0+cu121
cuda available: True
torch cuda version: 12.1

如果输出：

cuda available: False

就说明 PyTorch 根本没检测到 GPU，需要重新安装匹配 CUDA 的版本。

解决方法

如果你确认 GPU 不可用，可以这样重装 PyTorch（适配你 12.4 驱动）：

uv pip install --index-url https://download.pytorch.org/whl/cu121 torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0

然后再运行：

uv run webui.py

正常情况下，不会再提示 "CPU mode"。

✅ 建议
你先运行我上面的检测命令，把结果发我，我帮你判断是 PyTorch 版本不对还是环境配置问题，这样能一次性解决 GPU 不可用的问题。

你要我帮你检测一下吗？这样可以快速定位问题。

我看你的输出其实是有问题的，不是正常的情况。
你的显示是：

torch: 2.8.0+cu128
cuda available: False
torch cuda version: 12.8

这里有几个关键异常点：

1️⃣ PyTorch 版本号不对

  • 目前（2024-06）PyTorch 官方最新稳定版是 2.4.x，根本没有 2.8.0 这个版本。
  • 你这个 2.8.0+cu128 很可能是第三方打包版本（不是官方包），甚至可能是 CPU 版本伪装成 GPU 版本。

2️⃣ CUDA 版本不存在

  • NVIDIA 官方根本没有 CUDA 12.8 这个版本（当前最高是 CUDA 12.4）。
  • 官方 PyTorch 支持的 CUDA 版本只有 cu118、cu121 等，没有 cu128。
  • 你这个 cu128 可能是某个镜像或第三方自己改的标签，实际上内部还是 CPU 版本，所以 cuda available 是 False。

3️⃣ 为什么会这样？

  • 你很可能是用了非官方源（比如某个国内镜像）安装的 PyTorch，它里面的版本号和官方不一致。
  • 这些非官方打包的版本虽然名字带 cu128，但实际没有 CUDA 支持，所以 torch.cuda.is_available() 返回 False。

4️⃣ 解决方法

① 卸载当前的假 GPU 版本

uv pip uninstall torch torchvision torchaudio

② 用官方源安装真正的 GPU 版本

因为你的驱动是 12.4，可以直接装官方 cu121 版本：

uv pip install --index-url https://download.pytorch.org/whl/cu121 torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0

5️⃣ 验证安装

uv run python -c "import torch; print('torch:', torch.__version__); print('cuda available:', torch.cuda.is_available()); print('torch cuda version:', torch.version.cuda)"

正常输出应该是：

torch: 2.4.0+cu121
cuda available: True
torch cuda version: 12.1

6️⃣ 然后再运行 webui.py

uv run webui.py

这时应该就不会出现 "CPU mode" 的提示了。

版权属于：Joyber

本文链接：https://blog.qqvbc.com/default/1363.html

转载时须注明出处及本声明

标签: none

添加新评论