AI 기업 도입에서 로컬 LLM을 사용하는 기준

AI 기업 도입 케이스에서 내가 기술적으로 하는 방법 - 로컬LLM사용 기준)

기본적으로 여러 번 언급한바 있지만 개인정보보호법, 업종별 규제와 고객 계약을 검토하면서 로컬 LLM과 클라우드 AI의 역할을 나누는 방식을 사용합니다. 혼합 구성이 모든 기업의 법적 의무이거나 항상 더 저렴하다는 뜻은 아닙니다.

해당 사항은 어떤 것을 구축할지에 대한 기획과 인간과의 역할분담이 끝났다는 가정하에 기술적인 측면에서 구성하는 것을 이야기하려고 합니다.
( 어떤 것을 구축할지의 기획, 인간과의 역할분담은 정말 속한 산업, 사업규모, 인력 규모 등에 따라 다르기 때문에 제 입장에서는 표준화하기 어려움 )

0단계 : 온톨로지 설계 : 우리 회사에서 고객, 계약, 부서가 무엇이고 서로 어떤 관계인지를 기계가 이해할 수 있는 형태로 정의한 구조로 기획단계에서 나와 있어야 함, 온톨로지는 개념과 관계를 일관되게 정리하는 데 도움이 됨. 온톨로지가 없어도 벡터 검색·하이브리드 검색 기반 RAG를 구축할 수 있음 (사실 워낙 내부검색이 망이라 단순 키워드 검색만으로도 좋아하는 곳들이 많음)

· 도메인 온톨로지 — 비즈니스 개념과 관계 정의
· 태스크 온톨로지 — 에이전트 간 역할과 통신 규약 정의
· 데이터 온톨로지 — 청킹 단위, 메타데이터 스키마 표준화

1단계. 하드웨어 확인 : canirun.ai 에서 보유 GPU 입력 후 실행 가능 모델 목록 확인합니다. 해당 핵심지표는 GPU 메모리, 시스템 RAM(필요량은 오프로딩·문서 처리·동시 작업에 따라 달라짐), SSD으로 실행 가능 규모는 VRAM뿐 아니라 양자화, 문맥 길이, 동시 요청 수, 오프로딩 방식에 따라 달라집니다.

만약 GPU 없는 경우에는 CPU offloading (Ollama 지원) 또는 클라우드 GPU 임시 사용 고려할 수 있습니다.

· 7B 모델 → Q4 양자화 시 4~6GB VRAM으로 실행 가능
· 14B 모델 → Q4 가중치만 약 7GB이며 실행 메모리는 더 필요함. RTX 4090의 VRAM은 24GB임
· 70B 모델 → 40GB 이상 필요

2단계 플랫폼 선택 : 보통 3가지 중에 선택해서 하는데 저희는 데모할 때는 LM Studio를 사용하고 실제 구축해서 납품하는 형태는 vLLM를 주로 사용합니다( 다수 사용자 동시 요청 처리 가능) 이 때 양자화는 플랫폼 안에서 모델 선택 시 함께 결정되는 개념입니다. 이 때 양자화(Quantization)로 VRAM을 최대 75% 절감할 수 있습니다. Q4의 품질 변화는 모델·양자화 방식·평가 과제마다 다르므로 성능 손실을 5% 미만으로 보장할 수는 없습니다.

1) Ollama : CLI 기반 · REST API 내장, 빠르게 로컬 모델 띄울 때. 가장 간편. 모델 다운로드 시 GGUF 포맷으로 받는데 이 GGUF 자체가 양자화 수준을 내장함.
2) LM Studio : GUI · 비개발자 친화적, 현업 팀에 데모할 때. 설치 후 바로 사용 가능. GUI에서 모델 다운로드할 때 Q4 / Q5 / Q6 / Q8 옵션이 드롭다운으로 명시적으로 표시되어, 비개발자도 클릭 한 번으로 양자화 수준을 고를 수 있어서 가장 직관적.
3) vLLM : 고성능 추론 서버 · OpenAI 호환 API, GPTQ, AWQ, bitsandbytes 같은 다양한 양자화 포맷 지원(하드웨어·모델·버전별 호환성 확인 필요). 프로덕션 환경에서 속도와 메모리 효율을 함께 최적화 가능.

3단계 멀티 에이젼트 아키텍처

- 클라우드 AI(무엇을 할지 판단) : 오케스트레이터 · 고성능 추론 · 최종 합성
- 로컬 LLM(데이터 말아주기+가이드) : 내부 데이터 전담, 개인정보 · RAG 응답
- 특화 에이전트(실행처리담당) : LLM 에이전트 또는 n8n 같은 자동화 도구로 구현 가능하며, 작업의 복잡도에 따라 선택
- 내부 시스템(기본 데이터/실행 도구) → ERP · CRM · DB · API

4단계 내부 데이터 연동 : 이미 기획단계에서 데이터처리 방법이 확정되어 학습용 데이터와 실제 데이터 간 연관 방식이나 구성방식이 처리되어 있다는 가정하여 진행

1) RAG 구축 (벡터DB + 문서 파이프라인) : 모델은 그대로, 문서를 실시간 검색해 답변에 주입하는 방식으로 문서 교체만으로 즉시 반영 가능. 사내 문서, 규정, 계약서 검색에 적합하며 가장 빠르게 적용 가능

5단계 파인튜닝 (Fine-tuning) : 모델 가중치 자체를 추가 학습으로 변경, 업데이트마다 재학습 필요하며 해당 데이터를 말아주기 위해서는 산업과 해당 분야에 대한 이해 필요(다중 이해) : 보통 저희의 경우에는 온톨로지-RAG 구축이 순탄하게 돌아간 다음에 후속으로 별도 진행하는 편

기업 AI 도입을 위해 클라우드 SaaS 구독 전에 이 스택을 먼저 검토해 보는게 필요함. 보안, 비용, 커스터마이징을 함께 비교할 수 있음. 로컬에서 처리한 데이터도 클라우드 오케스트레이터로 전달하면 외부 전송이므로 개인정보·기밀정보의 전달 범위를 별도로 통제해야 함.

#로컬LLM #AI에이전트 #RAG #파인튜닝 #온톨로지 #vLLM #Ollama #n8n #기업AI #생성AI #LLM활용