글로벌 테크 허브시장 · 기술 · 실전 정보
AI·머신러닝2026.10.13

다른 서버에서 윈도우 PC의 Ollama를 호출할 때 막히는 세 가지

GPU가 달린 윈도우 PC에 Ollama를 설치해두고, 같은 PC 위의 리눅스 가상머신에서 돌아가는 서비스들이 그 모델을 호출하게 만들었습니다. 가상머신과 윈도우는 전용 내부 가상 스위치로 연결돼 있어서 네트워크상으로는 서로 다른 컴퓨터처럼 통신합니다.

공식 문서대로라면 환경변수 하나(OLLAMA_HOST=0.0.0.0)만 설정하면 되는 일입니다. 실제로는 세 군데에서 막혔고, 그중 두 개는 에러 메시지도 없이 “연결 시간 초과”만 떴습니다.

1. 트레이 앱은 OLLAMA_HOST를 무시한다

윈도우용 Ollama를 설치하면 작업 표시줄 트레이에 아이콘이 뜨고, 그 트레이 앱(ollama app.exe)이 서버를 띄웁니다. 시스템 환경변수에 OLLAMA_HOST=0.0.0.0을 넣고 트레이 앱을 재시작했는데도, 확인해 보면 여전히 127.0.0.1:11434에만 붙어 있었습니다.

PS> netstat -ano | findstr 11434
  TCP    127.0.0.1:11434    0.0.0.0:0    LISTENING    12345

해결은 트레이 앱을 완전히 종료하고, 서버를 직접 띄우는 것이었습니다.

Get-Process "ollama app" -ErrorAction SilentlyContinue | Stop-Process -Force
Get-Process ollama -ErrorAction SilentlyContinue | Stop-Process -Force
$env:OLLAMA_HOST = "0.0.0.0"
Start-Process -FilePath "$env:LOCALAPPDATA\Programs\Ollama\ollama.exe" `
  -ArgumentList "serve" -WindowStyle Hidden

이렇게 띄우면 0.0.0.0:11434로 바뀝니다. 재부팅할 때마다 이걸 반복할 수는 없으니, 위 내용을 스크립트로 만들어 작업 스케줄러에 로그온·부팅 트리거로 등록했습니다. 스크립트 앞부분에서 이미 제대로 떠 있으면 건너뛰게 해뒀습니다.

2. 윈도우 방화벽의 “공용” 차단 규칙이 이긴다

이제 포트는 열렸는데 가상머신에서 여전히 시간 초과가 났습니다. 방화벽에 “내부망 대역에서 11434 허용” 규칙을 새로 추가해도 마찬가지였습니다.

원인은 Ollama를 처음 실행할 때 윈도우가 띄운 “네트워크 액세스 허용” 창이었습니다. 그때 자동으로 만들어진 ollama.exe 규칙이 개인 네트워크는 허용, 공용 네트워크는 차단으로 돼 있었습니다. 그리고 가상머신용 내부 가상 스위치는 윈도우가 “공용” 네트워크로 분류하고 있었습니다. 윈도우 방화벽은 허용 규칙과 차단 규칙이 겹치면 차단이 우선합니다. 제가 추가한 허용 규칙은 처음부터 의미가 없었던 겁니다.

네트워크 프로필을 “개인”으로 바꾸는 방법도 있지만, 가상 스위치는 재설정 때 다시 공용으로 돌아가는 경우가 있어 불안했습니다. 대신 기존 차단 규칙의 포트 범위를 좁혀서 11434만 빠지게 했습니다.

$rule = Get-NetFirewallRule -DisplayName "ollama.exe" |
  Where-Object { $_.Action -eq "Block" } |
  Where-Object { ($_ | Get-NetFirewallPortFilter).Protocol -eq "TCP" }
$rule | Set-NetFirewallRule -Protocol TCP -LocalPort @("1-11433","11435-65535")

포트 범위를 "1-11433,11435-65535"처럼 쉼표로 이은 문자열 하나로 넘기면 “The port is invalid” 에러가 납니다. 반드시 배열로 넘겨야 합니다. 그리고 별도로 “11434 포트, 원격 주소는 내부망 대역만” 허용 규칙을 만들었습니다. 차단 규칙에 구멍을 내는 것과 명시적인 허용, 두 가지가 모두 있어야 했습니다.

허용 대상을 내부망 대역으로 제한한 이유가 있습니다. Ollama API에는 인증이 없습니다. 열려 있으면 누구나 모델을 돌리고, 모델을 받거나 지울 수도 있습니다. 절대 인터넷 쪽으로 열면 안 됩니다.

3. 응답이 빈 문자열로 온다: think:false

드디어 연결은 됐는데, 이번에는 응답 내용이 비어 있었습니다. Qwen3.8처럼 추론(thinking) 모드가 기본으로 켜진 모델에 /api/generate로 format: "json"을 주고 요청하면, 가끔 답변 전체가 thinking 필드에 들어가고 response는 빈 문자열로 옵니다.

{
  "model": "qwen3.8:27b-q4_K_M",
  "response": "",
  "thinking": "{\"summary\": \"...\"}",
  ...
}

요청에 "think": false를 넣으면 추론 과정 없이 response에 깨끗한 JSON이 들어옵니다. 저는 요약이나 번역처럼 추론이 필요 없는 작업에는 항상 이 옵션을 넣고, 코드에서도 양쪽 필드를 다 받게 해뒀습니다.

payload = {"model": MODEL, "prompt": prompt, "format": "json",
           "stream": False, "think": False}
data = requests.post(f"{OLLAMA_URL}/api/generate", json=payload, timeout=300).json()
text = data.get("response") or data.get("thinking") or ""

정리

증상 원인 해결
127.0.0.1에만 바인딩 트레이 앱이 OLLAMA_HOST 무시 트레이 종료 후 ollama serve 직접 실행
허용 규칙을 넣어도 시간 초과 자동 생성된 공용 네트워크 차단 규칙이 우선 차단 규칙 포트 범위에서 11434 제외
response가 빈 문자열 추론 모드 + JSON 모드 조합 "think": false

세 가지 모두 “Ollama가 안 된다”로 보이지만 원인은 각각 앱, 운영체제, 모델에 있었습니다. 연결 문제는 netstat로 바인딩 주소부터, 그다음 방화벽, 마지막으로 API 응답 순서로 좁혀가면 빠릅니다. API 옵션은 Ollama API 문서에 정리돼 있습니다.