安装和配置Docker环境

操作系统为 Ubuntu 22.04

卸载系统已有docker软件包

sudo apt remove docker docker-engine docker.io containerd runc

添加 apt 源

sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update

安装和测试 Docker

sudo apt install -y docker-ce docker-ce-cli containerd.io
sudo docker run hello-world
sudo usermod -aG docker $USER
sudo systemctl enable docker

配置镜像加速器（国内用户推荐）

sudo nano /etc/docker/daemon.json
{
  "registry-mirrors": ["https://your-mirror-id.mirror.aliyuncs.com"]
}
sudo systemctl restart docker

安装和配置Ollama环境

Ollama 是一款可以在本地运行大语言模型的开箱即用工具，你可以运行 Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 2等开源模型。

安装 NVIDIA Container Toolkit（本地有GPU资源）

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

# 确认docker使用nvidia驱动
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

运行 Ollama

# CPU环境
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# GPU环境
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

使用 Ollama

使用 Ollama 很简单，只需要在命令行页面输入 ollama run 模型名称，如运行：ollama run DeepSeek-R1，如果要运行的模型没有安装，ollama 会帮你自动安装后再运行模型。

Ollama 官网可以查找支持的模型：Ollama

# 下载模型
docker exec -it ollama ollama pull deepseek-r1:14b

安装和配置Open WebUI

使用docker安装

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

使用本地DeepSeek提问

选择下载的模型，就可以愉快的提问题了