Windows 에서는 아직 네이티브 클라이언트를 제공하지는 않지만 WSL 2 에서 Linux 버전으로 구동하거나 도커 컨테이너로 기동할 수 있다. https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image 먼저 WSL 안에서 NVIDIA CTK 활용이 가능해야하는데 다음 문서를 참고한다. https://learn.microsoft.com/ko-kr/windows/ai/directml/gpu-cuda-in-wsl 위 문서를 참고해 컨테이너를 실행하고 mistral, mistral:instruct 이미지를 내려받아놓기까지만 하면 로컬 API 서버 준비 끝. docker run –rm -d –gpus=all \ -v ./ollama:/root/.ollama -p 11434:11434 […]
