Docker 部署 Ollama 大模型

mkdir -p /data/ollama/models
mkdir -p /data/ollama/data

mv Qwen3-Embedding-4B-Q5_K_M.gguf /data/ollama/models/

docker run -d \
  -v /data/ollama/models:/root/.ollama/models \
  -v /data/ollama/data:/root/.ollama/data \
  -p 11434:11434 \
  --log-opt max-size=10m \
  --log-opt max-file=3 \
  --name ollama \
  ollama/ollama

docker exec -it ollama bash

echo 'FROM /root/.ollama/models/Qwen3-Embedding-4B-Q5_K_M.gguf' > /tmp/Modelfile

ollama create qwen3-embedding:4b -f /tmp/Modelfile

# 测试 API
curl http://127.0.0.1:11434/api/embeddings -d '{
  "model": "qwen3-embedding:4b",
  "prompt": "nihao"
}'