> ## Content Index
> Fetch the complete content index at: https://zacob.ghost.io/llms.txt
> Use this file to discover other available public pages before exploring further.

# 4년간 온몸으로 구르며 깨달은 AI 아키텍처 실패와 생존기.
- URL: https://zacob.ghost.io/newsletter/linkedin-gwyhxjic/
- Published: 2026-10-07T12:28:21.000Z
- Updated: 2026-11-12T06:07:25.000Z
- Author: 제곱 대표직원 노란초
- Tags: 칼럼, 산업, #source-linkedin, #editorial-import-20261023

**글: 제곱 대표직원 노란초**

4년간 온몸으로 구르며 깨달은 AI 아키텍처 실패와 생존기.  
  
엔지니어링의 본질은 어떤 오픈소스 모델을 로컬에 띄울까?가 아니라,   
데이터 통제권과 모델 호출 주권을 어떻게 쥘 것인가?에 있었다.  
  
1\. 노코드 기반 빠른 프로토타이핑   
웹훅으로 LLM 요약본을 만들어 노션/메신저로 쏘는 자동화 구조였다. 세팅은 10분 만에 끝났지만, 프롬프트 미세 제어의 제약, API 비용 누적, 비동기 디버깅 피로도, 그리고 외부로 데이터가 나간다는 점에 금방 한계에 부딪혔다.  
  
2\. 로컬 AI & 온프레미스 올인  
Ollama, vLLM, 양자화(GGUF/AWQ)에 Qwen, DeepSeek 등 고성능 오픈소스 모델을 올려 수제 RAG를 구축했다.   
\- 인프라: 발열·소음·OOM 이슈와 보안 패치 뒤치다꺼리하느라 본업이 마비  
\- 폐쇄망: 고객사 장비 파편화로 원격 접속(SSH/VPN)조차 안 되어 문제 터질 때마다 출장  
\- 보안 : Pickle 가중치 RCE, 서빙 프레임워크 자체 취약점(ZipSlip) 등 AI 공급망 공격을 1인/소규모 팀이 모든 위험을 직접 관리하기에는 부담이 컸다  
  
3\. 하이브리드 라우팅   
전처리·분류는 로컬 LLM, 고난도 추론은 프론티어 API로 이원화했다. 파이프라인은 꽤 정교해졌으나, 실제 업무 환경에 배포하려 하자 엔터프라이즈 보안 컴플라이언스(감사 추적, 데이터 유출 통제, 모델 출처 관리)를 충족하는 방식으로 다시 설계를 시작했다.  
  
4\. 현재 (WIP): 엔터프라이즈 SaaS 추론 + 로컬 데이터 경계선 격리  
보안과 인프라 운영의 일부는 계약·서비스 설정을 확인한 기업용 서비스에 맡기고, 원천 데이터의 보관 위치와 접근 권한을 별도로 관리하는 것으로 정리.  
• 추론 & 인터페이스 (표준화): MS Copilot 및 프론티어 모델을 메인으로 채택. SharePoint/OneDrive 기반으로 M365 테넌트의 권한·인덱싱·감사 기능을 필요한 라이선스와 설정 범위에서 활용해 인프라 관리 부담을 줄임.  
• 지식 자산화 (Markdown & Obsidian): 모든 실무 노트와 핵심 지식 자산은 마크다운으로 옵시디언에 축적  
• 형상 관리 : 로컬 Git 고집을 버리고 GitHub를 정식 도입. 원천DB은 철저히 배제하고, 프롬프트 템플릿과 자동화 스크립트만 분리해 시크릿 스캐닝을 거치며 형상 관리 중이다.  
• 데이터 경계선 (Data Perimeter): 원천 데이터와 장기 아카이브는 로컬 NAS에 보관하고 Dropbox에는 별도 권한과 백업 정책으로 사본을 둔다. Dropbox로 전송되는 사본은 클라우드 데이터이며, 이 구성 전체를 물리적 망분리라고 부를 수는 없다. 외부 추론 엔진에는 필요한 시점에 정제·비식별화된 최소한의 맥락만 주입하고 있다.  
  
\[지금도 풀고 있는 2가지 과제\]  
1) 모델 호출 주권 (Resilience by Design) MS Copilot/Azure는 편리하지만 라우팅 블랙박스로 인한 비용과 지연 리스크가 있다. 애플리케이션 레벨에서 자체 Fallback & 서킷 브레이커(Circuit Breaker)를 구현해, 장애 발생 시 대체 프론티어 모델로 즉시 전환되는 라우팅 주도권을 직접 쥐는 구조를 다듬고 있다.  
2) 스토리지 간 동기화 정합성 OneDrive - Obsidian - GitHub - NAS - Dropbox로 이어지는 라이프사이클에서, 각 도구의 역할 경계를 침범하지 않고 데이터 충돌 없이 흐르는 자동화 파이프라인 룰을 정립하고 있다.  
  
연휴에 몸져누워 진도가 좀 밀렸는데, 이번 달 부가세 신고와 병행해서 파이프라인을 마무리 짓고 홈페이지 오픈까지 달려야 하는 상황이다.  
  
혹시 로컬 데이터 격리와 엔터프라이즈 SaaS AI 도입 사이에서 비슷한 고민을 거쳐 가신 엔지니어 분들이 계신가요? 다중 스토리지 정합성이나 라우팅 최적화 팁이 있다면 편하게 의견 나눠 주시면 감사하겠습니다!  
  
[#AI인프라](https://www.linkedin.com/signup/cold-join?session%5Fredirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2FaiSUaUiKRtq&trk=public%5Fpost-text&ref=zacob.ghost.io) [#LLM](https://www.linkedin.com/signup/cold-join?session%5Fredirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fllm&trk=public%5Fpost-text&ref=zacob.ghost.io) [#엔터프라이즈AI](https://www.linkedin.com/signup/cold-join?session%5Fredirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2FSLWTPSUiKRtqSTWTeiai&trk=public%5Fpost-text&ref=zacob.ghost.io) [#Obsidian](https://www.linkedin.com/signup/cold-join?session%5Fredirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fobsidian&trk=public%5Fpost-text&ref=zacob.ghost.io) [#시스템아키텍처](https://www.linkedin.com/signup/cold-join?session%5Fredirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2FSxqSwmTQKSJiTNiTQvTtm&trk=public%5Fpost-text&ref=zacob.ghost.io) [#M365](https://www.linkedin.com/signup/cold-join?session%5Fredirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fm365&trk=public%5Fpost-text&ref=zacob.ghost.io) [#삽질](https://www.linkedin.com/signup/cold-join?session%5Fredirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2FSmTTfu&trk=public%5Fpost-text&ref=zacob.ghost.io)

구축 과정을 기록한 WIP입니다. SaaS를 사용해도 고객의 데이터 분류·권한·반출·복구 책임이 자동으로 없어지는 것은 아닙니다.