RAG 구축의 시대를 지나,
에이전트를 향해
문서를 쪼개는 방식 자체를 다시 물어야 할 때가 왔습니다. 넓어진 기술 선택지에서 출발해, 용역이 아닌 협업으로 만드는 AI 사업, 그리고 기술보다 업무와 사람을 먼저 보는 리더의 순서까지 — 기관의 전환을 다룹니다.
- 1편 · 기술의 이동 — 프롬프트에서 피지컬 AI까지 (명제 01–05)
- 2편 · RAG 구축의 시대를 지나, 에이전트를 향해 (명제 06–08)
- 3편 · 중간관리자, AX팀, 그리고 튀는 사람 (명제 09–11)
- 4편 · 바이브코딩, 골목길, 그리고 네 개의 질문 (명제 12–14)
공공부문은 지난 몇 년, 문서를 쪼개고 청크를 나누고 임베딩하는 RAG 시스템 구축에 바빴습니다. 그런데 컨텍스트 윈도우가 길어지고 모델의 맥락 해석력이 강해지면서, 그 전제가 흔들리고 있습니다. 기관의 전환을 다루는 2편은 기술 스택의 선택지에서 출발해, 사업을 발주하는 방식과 리더의 우선순위까지 내려갑니다.
명제 06RAG 구축의 시대를 지나, 에이전트를 향해
문서를 쪼개는 방식 자체를 다시 물어야 한다.
선택지가 넓어졌습니다.
| 방식 | 특징 | 적합한 경우 |
|---|---|---|
| 청크 기반 RAG | 문서를 조각내 검색 | 문서량이 매우 많고 질의가 정형적일 때 |
| 문서 통째 읽기 | 긴 컨텍스트에 원문 전체 투입 | 규정·계약서처럼 맥락이 끊기면 안 되는 문서 |
| 에이전틱 검색 | AI가 스스로 탐색·재질의 | 어디에 답이 있는지 모를 때 |
| MCP 직접 연결 | 원천 데이터·API에 직결 | 통계·법령처럼 원본이 구조화돼 있을 때 |
더 넓고 더 최신화된 정보를 습득하는 구조로, 변화에 맞춰 계속 갈아타며 적응해야 합니다.
명제 07용역회사에 맡기는 AI사업에서, 협업으로 만드는 AI사업으로
AI 사업은 구축이 끝이 아니라 시작이다.
AI 사업은 트렌드에 따라 양태가 계속 바뀝니다. 구축이 끝이 아니라 유지보수와 개편이 상시 과제가 된다는 뜻이고, 이를 쫓아가려면 외주만으로는 부족합니다. 내부 전문인재 양성이 전제 조건입니다.
기관의 AI 도입은 실무자가 AI를 잘 쓰는 것을 넘어, '쓸 수 있는 · 써야 하는 · 쓰고 싶은' AI 서비스를 만드는 일입니다. 그 설계는 직원과 업무를 아는 사람만 할 수 있습니다. 인터뷰 몇 번과 보고자료만으로 외부 업체가 조직의 맥락을 이해하기는 어렵습니다.
발주서에 '무엇을 만들지'보다 '누가 함께 만들지'를 먼저 씁니다. 내부 인력의 역할과 투입 시간을 사업 구조에 포함시킵니다.
명제 08리더는 기술이 아니라 업무와 사람부터 본다
AI가 도울 지점을 찾는 순서는 정해져 있다.
업무를 단위로 쪼개서 분석하고, 그 안에서 병목 · 어려움 · 막힌 곳을 찾아내는 일. 이것이 리더가 먼저 해야 할 일입니다. 어떤 AI를 살지는 그다음 문제입니다.
'AI가 잘한다'의 범위가 글을 읽고 쓰는 것에서 도구를 다루는 것으로 넓어졌기 때문에, 어떤 도구·어떤 기존 시스템과 엮을지 정하는 오케스트레이션 설계가 도입의 성패를 가릅니다. 모델 선택보다 조합 설계가 리더의 의사결정입니다.
부서 업무 1개를 단계로 쪼개고, 단계마다 아래 세 칸을 채워 봅니다.
| 업무 단계 | 병목인가 | AI가 도울 수 있나 | 어떤 도구·시스템과 엮나 |
|---|---|---|---|
| (예) 민원 접수 분류 | ○ 하루 200건 수작업 | ○ 분류·요약 | 민원시스템 API + LLM |
| (예) 결재 문서 작성 | △ | ○ 초안 생성 | 한글 문서 + 과거 결재문 |
| (예) 대면 상담 | × | × | — |