로컬 LLM에 관한 대화는 흔히 하드웨어에서 시작합니다. 필요한 메모리, 적합한 그래픽 카드, 선택할 양자화 방식 등을 묻습니다. 비즈니스에는 이것이 두 번째 질문입니다. 첫 번째는 어떤 프로세스를 개선하며 무엇을 성공적인 결과로 볼 것인가입니다. 같은 모델도 문의 분류에는 경제적일 수 있지만 법적 효력이 있는 답변 작성에는 쓸모가 없을 수 있습니다.
선택 기준을 데이터 민감도, 허용 지연 시간, 부하 특성, 팀의 서비스 운영 역량이라는 네 축으로 나누면 편리합니다. 하나라도 정하지 않으면 모델 비교는 비즈니스 결정 없이 사양만 보여주는 시연이 됩니다.
데이터: 로컬이라고 자동으로 안전하지는 않습니다
로컬 모델은 외부 전송 횟수를 줄이지만 접근 통제, 로그, 백업, 업무용 기기 보호를 대신하지는 않습니다. 문서가 사내망을 벗어나지 않더라도 권한 설정이 잘못된 공용 로그, 캐시, 벡터 저장소 또는 백업에 들어갈 수 있습니다. 먼저 업로드부터 삭제까지 전체 데이터 경로를 그리세요.
클라우드에도 같은 질문을 하세요. 요청은 어디서 처리되는지, 입력이 저장되는지, 데이터 학습을 끌 수 있는지, 보관 기간과 계약상 보장은 무엇인지 확인합니다. ‘private’, ‘enterprise’ 같은 홍보 문구보다 실제 데이터 흐름과 각 당사자의 책임을 비교하세요.
지연 시간, 컨텍스트, 실제 부하
로컬 모델은 데이터 가까이에서 수행하는 짧고 잦은 작업에 유용합니다. 분류, 필드 추출, 초안 작성, 내부 검색 등이 해당합니다. 드문 피크성 요청에는 클라우드가 더 합리적일 때가 많습니다. 유휴 가속기를 유지하거나 대기열을 직접 확장할 필요가 없기 때문입니다.
에이전트와 코딩 작업에서는 컨텍스트 비용이 특히 큽니다. Ollama는 컨텍스트 창이 커질수록 메모리 사용량이 증가한다고 명시합니다. 따라서 ‘모델이 질문 하나에 답했다’는 테스트는 문서 수십 개를 읽고 도구를 호출하며 여러 사용자를 동시에 처리하는 프로세스에 대해 아무것도 말해주지 않습니다.
사양을 맹신하지 않는 하드웨어와 양자화 선택
llama.cpp는 CPU와 GPU 메모리에 나누어 배치하는 방식을 포함해 여러 CPU와 GPU에서 양자화 모델을 실행할 수 있게 합니다. 파일럿을 시작하기 쉬워지지만 필요한 품질을 보장하지는 않습니다. 압축률이 높을수록 메모리는 절약되지만, 특히 복잡한 지시와 구조화 출력에서 정확도가 떨어질 수 있습니다.
자체 작업 데이터로 세 가지 모델 크기를 검증하세요. 작은 모델은 이메일 분류를 충분히 처리하고, 중간 모델은 추출과 요약을 맡으며, 복잡한 예외는 클라우드 모델이나 사람이 처리할 수 있습니다. 하나의 시스템에 모든 일을 맡기려는 것보다 하이브리드 아키텍처가 더 저렴한 경우가 많습니다.
성공한 작업의 비용
로컬 구성의 비용에는 하드웨어 또는 임대료, 전기, 이중화, 업데이트, 모니터링, 엔지니어 시간, 중단 비용이 포함됩니다. 클라우드에는 토큰, 네트워크 지연, 제한, 저장소, 기업용 기능, 공급업체 변경 비용이 포함됩니다. 공통 비교 단위는 요청이 아니라 수작업으로 다시 처리하지 않고 비즈니스에서 수용한 작업입니다.
- 수정 없이 수용된 답변의 비율.
- 결과까지 걸린 시간의 평균과 95번째 백분위수.
- 재시도 및 수동 검토 비용.
- 접근 사고, 장애, 형식 위반 건수.
- 주간 유지보수에 투입된 팀의 시간.
끝낼 수 있는 파일럿
담당자가 명확한 프로세스 하나와 비식별 사례 50~100개를 선택하세요. 정답 기준, 품질 기준, 허용 오류 비용을 정합니다. 같은 데이터로 로컬, 클라우드, 하이브리드 구성을 비교합니다. 파일럿은 2주 동안 진행하고 도입, 과제 변경, 포기 중 하나를 결정하며 끝냅니다.
로컬 LLM은 이념이 아니라 배포 방식 중 하나입니다. 데이터 제약과 부하 특성이 측정 가능한 이점으로 이어질 때 타당합니다. 팀이 서비스를 유지할 준비가 되지 않았거나 실제 예외에서의 품질이 기준에 못 미친다면 클라우드나 하이브리드가 더 관리하기 쉬운 선택입니다.
자기기만 없는 비용 계산 예시
월 4만 건의 문의를 분류하는 부서를 가정해 보겠습니다. 클라우드 모델은 재요청을 포함해 9만 루블이 들고, 로컬 서버는 초기 42만 루블에 운영과 엔지니어 일부 투입 시간으로 매달 7만 루블이 추가됩니다. 9만과 7만 루블만 비교해서는 부족합니다. 수정 없이 통과하는 답변이 로컬 모델은 82%, 클라우드는 94%이며 예외 한 건의 수동 처리 비용은 25루블입니다. 품질 차이로 로컬 구성에는 약 12만 루블의 수작업 비용이 추가됩니다. 이렇게 보면 ‘자체 토큰이 더 싸다’는 주장은 설득력을 잃습니다.
그다음 민감도 분석을 하세요. 처리량이 두 배가 되거나, 클라우드 요금이 낮아지거나, 예비 서버가 필요하거나, 새로운 문의 형식으로 품질이 떨어지면 어떻게 될까요? 서비스 중단 한 시간의 비용과 팀이 보안 업데이트를 설치해야 하는 기한도 별도로 정하세요. 이렇게 하면 대화의 초점이 그래픽 카드 사양에서 서비스의 책임으로 옮겨갑니다.
데이터와 과제별 배포 선택표
- 공개 텍스트와 불규칙한 부하: 보통 클라우드로 더 빠르게 시작할 수 있습니다.
- 공급업체 전송이 허용된 내부 문서: 기업 계약 조건을 갖춘 클라우드 또는 하이브리드.
- 외부 환경 이용이 허용되지 않는 규제 데이터: 전체 처리 체인을 검증한 후 로컬 배포.
- 대량의 좁은 범위 분류: 표본으로 품질이 확인된 경우 소형 로컬 모델.
- 드물고 복잡한 예외: 더 강력한 클라우드 모델 또는 사람에게 전달.
하이브리드가 요청마다 모델을 무질서하게 고른다는 뜻은 아닙니다. 라우팅 규칙은 데이터 유형, 작업 종류, 허용 지연 시간, 신뢰도 기준에 따라 결정적으로 정해져야 합니다. 로그에는 불필요한 요청 내용 없이 경로 선택 이유를 보관합니다. 로컬 모델이 형식을 지키지 않거나 평가가 기준 미만이면 시스템은 즉흥적으로 처리하지 않고 사전에 지정한 안전한 경로를 사용합니다.