에이전트 안에서 일어나는 일 🔎

1부는 지식 문서의 인덱싱을 기다리는 동안 읽는 분량입니다. 대기가 5~10분이라 딱 그만큼입니다. 2부는 토크나이저를 직접 돌려보는 별도 실습입니다. 15분 슬롯으로 따로 편성합니다. 3부는 지식으로 넣을 문서를 어떻게 준비해야 하는지입니다. 읽는 자리이고 10분이면 됩니다.

1부. 지식은 어떻게 검색되는가

5~10분 · 인덱싱 대기 중에 읽습니다.

문서를 올렸는데 바로 질문하면 “모른다”고 답합니다. 상태가 준비로 바뀌어야 비로소 답합니다. 그 사이에 무슨 일이 일어날까요.

올린 문서가 검색되기까지 

flowchart LR
    A[문서 업로드] --> B[청크 분할]
    B --> C[임베딩 생성]
    C --> D[벡터 저장소에 저장]
    D --> E[검색 가능 상태]

청크 분할 — 문서를 통째로 다루면 “이 문서 어딘가에 답이 있다”까지밖에 모릅니다. 그래서 문단 단위로 잘게 쪼갭니다. 「휴가·근태 안내」 한 파일이 수십 개 조각이 됩니다.

임베딩 생성 — 각 조각을 숫자 배열로 바꿉니다. 뜻이 비슷한 문장은 비슷한 숫자가 되도록 만든 것이라, 글자가 달라도 뜻이 가까우면 찾아낼 수 있습니다. “휴가 며칠”과 “연차 일수”가 한 글자도 안 겹치는데 연결되는 이유입니다.

벡터 저장소에 저장 — 이 숫자들을 검색 가능한 형태로 넣습니다. 여기까지 끝나야 준비입니다.

그래서 업로드 직후에 질문하면 못 찾는 게 정상입니다. 파일은 이미 올라가 있지만 아직 조각나지도, 숫자로 바뀌지도 않았기 때문입니다. 에이전트가 고장 난 게 아닙니다.

질문이 들어오면

이제 반대 방향입니다.

flowchart LR
    Q[사용자 질문] --> R[질문도 임베딩]
    R --> S[가까운 조각 찾기]
    S --> G[찾은 조각 + 질문을 함께 LLM에 전달]
    G --> A[답변 생성]

LLM은 문서 전체를 읽지 않습니다. 오케스트레이터가 찾아서 건네준 몇 조각만 봅니다. 이걸 그라운딩(grounding) 이라고 합니다 — 답변을 실제 근거에 묶어 두는 것입니다.

이 구조 전체를 RAG(Retrieval-Augmented Generation, 검색 증강 생성)라고 부릅니다. 검색해서(Retrieval) 가져온 것으로 보강해(Augmented) 생성한다(Generation)는 뜻입니다.

손으로 해보기 — 5분

기계가 하는 일을 사람이 한 번 해 보면 구조가 잡힙니다. 아래는 「01. 복리후생 제도 개요」의 한 조각입니다.

[복리후생 제도 개요 — 3. 별포인트]
연 120만 원 지급(분기 30만 원씩 적립).
사용처: 도서, 문화·여가, 건강, 자기계발 등 한별포털 제휴몰.
미사용 포인트는 당해연도 말 소멸(이월 불가).

질의: "별포인트는 1년에 얼마고 어디에 쓸 수 있나요?"

실습: 위 세 줄 중 이 질의의 근거가 되는 문장에만 밑줄을 칩니다.

정답은 1번째·2번째 줄입니다. 3번째 줄(소멸)은 이 질문의 근거가 아닙니다 — “안 쓰면 어떻게 되나요?”라는 다른 질문의 근거입니다.

방금 한 것이 검색 → 그라운딩입니다. 에이전트는 이걸 문서 전체의 모든 조각에 대해 자동으로 하고, 여러 문서에 걸친 질문이면 여러 문서에서 조각을 모아 붙입니다.

근거를 못 찾으면 “모른다”고 답하는 것이 올바른 동작입니다. 이때 지어내지 않게 막는 것이 지침의 경계 규칙입니다. RAG는 근거를 찾아주는 데까지가 일이고, 없을 때 입을 다무는 것은 지침의 일입니다. 둘 다 있어야 합니다.

2부. 지침은 왜 비용인가

10~15분 · 읽기 5분 + 토크나이저 실습 10분. 별도 시간이 필요합니다.

지침은 잘 쓰는 것도 중요하지만, 길이 자체가 돈입니다. 왜 그런지 직접 세어 봅니다.

토큰이란

AI 모델은 글자나 단어가 아니라 토큰(token) 이라는 단위로 글을 처리합니다. 대략 자주 쓰이는 덩어리 단위인데, 영어는 단어 하나가 토큰 하나인 경우가 많고 한국어는 한 단어가 여러 조각으로 쪼개집니다.

그리고 비용은 토큰 수로 매겨집니다.

손으로 해보기 — 10분

아래 토크나이저를 엽니다. 브라우저만 있으면 되고 설치·로그인은 필요 없습니다.

OpenAI Tokenizer 열기

이 도구는 GPT 계열 기준으로 셉니다. Copilot Studio가 쓰는 모델과 토크나이저가 정확히 같지는 않으니 숫자를 절대값으로 받아들이진 마세요. 다만 “한국어가 더 잘게 쪼개진다”는 경향은 어느 모델이든 공통이라, 감을 잡는 데는 충분합니다.

① 지침의 길이를 잰다

에이전트의 지침 전문을 복사해 붙여넣고 토큰 수를 봅니다. 이어서 첫 줄 하나만 넣어 비교합니다.

당신은 한별소프트 임직원의 복리후생·근태 문의를 안내하는 사내 도우미입니다.

두 숫자를 나란히 적습니다.

이 차이는 사용자가 아무 말도 하기 전부터 이미 깔려 있는 비용입니다. 지침은 대화할 때마다, 매 요청마다 통째로 실려 갑니다. 100번 물으면 100번 실려 갑니다. 그런데 경계 규칙은 지울 수 없습니다. 그래서 실무의 과제는 “지침을 줄이는 것”이 아니라 같은 규칙을 더 짧게 쓰는 것이 됩니다.

② 한국어와 영어를 비교한다

같은 뜻의 두 문장을 차례로 넣습니다.

별포인트는 연 120만 원이 지급되며, 한별포털 제휴몰에서 사용할 수 있습니다.

Employees receive 1.2 million points per year, which can be used at the partner mall on the company portal.

실습: 두 토큰 수를 나란히 적습니다.

실측하면 한국어 26 토큰, 영어 24 토큰이 나옵니다. 글자 수를 세어 보면 한국어가 36자, 영어가 108자로 한국어가 3분의 1인데 토큰은 오히려 더 많습니다.

토크나이저는 학습 데이터의 대부분을 차지하는 영어 위주로 단위가 최적화되어 있습니다. 한국어는 음절과 조사가 붙어 다녀서 같은 뜻이라도 더 잘게 쪼개집니다. 같은 내용이면 한국어 지침이 더 비쌀 수 있다는 뜻입니다. 그렇다고 지침을 영어로 쓰라는 얘기는 아닙니다 — 읽고 고치는 사람이 한국어를 쓴다면 그 비용이 더 큽니다. 다만 왜 비싼지는 알고 쓰자는 것입니다.

③ 크레딧으로 환산한다

토큰 수를 1,000 단위로 올림한 뒤 아래 요율로 계산합니다.

모델 등급 1K 토큰당 요율
Text and generative AI tools (basic) 0.1 크레딧
Text and generative AI tools (standard) 1.5 크레딧
Text and generative AI tools (premium) 10 크레딧

예시: 입력과 출력을 합쳐 4,200 토큰이면 5단위로 올림해서, basic 요율 적용 시 0.5 Copilot Credit.

실습: 본인 지침으로 숫자 하나를 내고, 이어서 “하루 20번 쓰면 얼마인지”까지 암산합니다.

출처: Licensing and Copilot Credits — 요율은 변경될 수 있으므로 실제 산정 시 원문을 확인하세요.

3부. 문서가 답을 정한다

10분 · 읽는 자리입니다. 실습은 없습니다.

에이전트가 잘 답하는 이유는 지침을 잘 써서만이 아닙니다. 문서가 좋았기 때문입니다. 같은 에이전트에 엉망인 문서를 넣으면 엉망으로 답합니다.

이걸 한 문장으로 줄이면 “넣은 것이 나온다” 입니다. 검색해서 못 찾으면 LLM에게 넘어가는 조각이 없고, 조각이 없으면 답도 없습니다.

왜 이 이야기를 하는가

에이전트가 답을 못 하면 대개 지침부터 고칩니다. 그런데 원인의 상당수는 문서 쪽에 있습니다.

증상 흔한 원인
문서에 있는 내용인데 못 찾는다 문서가 너무 길거나 구조가 없다
엉뚱한 문서를 근거로 답한다 파일명·설명이 내용을 안 알려준다
표 안의 숫자를 틀리게 읽는다 표가 복잡해서 평문으로 풀렸을 때 깨진다
어제 고친 내용이 반영이 안 된다 다시 인덱싱되지 않았다

지침으로는 하나도 못 고칩니다.

얼마나 넣을 수 있는가

무제한이 아닙니다. Microsoft가 안내하는 목표치가 있습니다.

항목 권장
지정하는 파일 수 20개 이하
관련 파일 총합 300페이지 이내
문서 하나의 길이 36,000자(15~20페이지) 넘으면 나눈다
폴더·사이트 통째 참조 하지 않는다. 필요한 파일만 1:1로 지정

복리후생 PDF 4개는 각각 2~4페이지라 권장치 안쪽입니다.

“일단 폴더째 붙여 놓고 알아서 찾게 하자”가 가장 흔한 실패입니다. 검색 대상이 넓어질수록 엉뚱한 문서가 걸릴 확률이 같이 올라갑니다. 범위를 좁히는 것이 품질을 올리는 가장 싼 방법입니다.

검색이 문서 끝까지 닿지는 않는다

긴 문서는 앞부분만 인덱싱됩니다. 실제로 이런 차이가 납니다.

1,000페이지 문서에서 찾는 내용이 검색으로 물어보기 문서를 직접 주고 물어보기
10페이지에 있으면 찾는다 찾는다
300페이지에 있으면 못 찾는다 찾는다
900페이지에 있으면 못 찾는다 못 찾는다

“문서를 직접 주고 물어보기”는 M365 Copilot 채팅에 파일을 첨부해 묻는 방식입니다. 그쪽은 검색을 거치지 않고 본문을 바로 뽑아 쓰기 때문에 더 깊이까지 닿지만, 대신 프롬프트 길이 한계에 걸립니다. 어느 쪽도 끝까지 읽어 주지는 않습니다.

AI가 잘 읽는 문서

같은 내용이라도 구조가 있으면 훨씬 잘 찾습니다. Word 탐색 창을 열었을 때 목차가 나오면 구조가 있는 문서이고, 비어 있으면 없는 문서입니다.

   
Word 제목 스타일로 구조를 잡는다. 표는 병합·중첩 없이 단순하게
Excel 한 시트에 하나의 표. 머리글 한 줄, 병합 셀 없음, 빈 행 없음
PowerPoint 슬라이드 마스터의 자리표시자를 쓴다. 텍스트 상자를 아무 데나 놓으면 순서가 뒤엉킨다
공통 파일명도 정보다. 최종_수정본2.docx보다 2026 경조사 지원 기준.docx가 낫다

참조 자료를 추가할 때 문서마다 설명을 입력합니다. 오케스트레이터가 어느 문서를 뒤질지 고를 때 파일명과 설명을 봅니다. 문서 안을 아무리 잘 써도 이름이 문서1.pdf면 애초에 열어보지 않습니다.

표와 엑셀은 특히 조심합니다

문서가 조각으로 쪼개질 때 표는 평평한 글로 풀립니다. 머리글과 값의 연결이 끊어지면 금액이 엉뚱한 항목에 붙습니다.

그리고 엑셀에서 계산이나 필터링이 필요한 일이라면, 그건 애초에 검색으로 풀 문제가 아닙니다.

  • 찾기(이 항목의 값이 얼마인가) → 검색으로 됩니다
  • 계산·집계(전체 합계, 조건에 맞는 건수) → 검색으로는 안 됩니다. 데이터를 통째로 꺼내 처리하는 다른 수단이 필요합니다

웹사이트를 지식으로 넣을 때

URL만 넣으면 되는 게 아닙니다. Bing에 인덱싱되어 있어야 읽힙니다.

  • 로그인이 필요한 사이트는 안 됩니다
  • 사내망 전용 페이지도 안 됩니다
  • 미리 Bing에서 검색해 보고 결과가 나오는지 확인한 뒤에 넣습니다

실무에서 자주 겪는 실패입니다. 회원 전용 자료 사이트를 지식으로 걸어 두고 왜 답을 못 하는지 한참 찾다가, 로그인 화면 때문이었다는 걸 뒤늦게 아는 경우가 많습니다.

정리

좋은 답은 좋은 문서에서 나옵니다. 지침은 행동을 다듬을 뿐, 없는 근거를 만들어내지는 못합니다.

에이전트를 만들기 전에 문서부터 봅니다 — 구조가 있는가, 너무 길지 않은가, 이름이 내용을 말하는가. 이 셋만 챙겨도 대부분의 “왜 답을 못 하지?”가 사라집니다.

세 이야기가 만나는 곳

1부는 에이전트가 무엇을 보는가, 2부는 그것이 얼마나 드는가, 3부는 무엇을 넣어야 하는가였습니다. 셋은 같은 자리에서 만납니다.

지식을 많이 넣을수록 찾을 수 있는 근거는 늘지만, 검색이 넓어져 엉뚱한 조각이 걸릴 확률도 같이 오르고, 매 요청에 실려 가는 양도 늘어납니다. 지침을 촘촘히 쓸수록 행동은 안정되지만 고정 비용이 올라갑니다. 에이전트를 설계한다는 건 이 사이에서 선을 긋는 일입니다.

정답은 없습니다. 다만 이제 어디를 손봐야 하는지 아는 상태가 되었습니다 — 답이 이상할 때 지침만 붙들고 있지 않게 됩니다.

출처

이 부록은 아래를 토대로 만들었습니다. 제품이 바뀌면 문헌 쪽이 먼저 낡습니다 — 수치나 주기가 걸리면 원문을 다시 확인하세요.

  • 실측 — 2026-08-11 · 인덱싱 소요시간(PDF 4종, 단독 사용자) 평균 5분·최대 10분
  • 문헌 — MS 공식 TTT 자료1 · Microsoft Learn2

  1. Copilot Studio Train The Trainer — 최정우, Microsoft, 2026-01-09. p.77 Optimize Content Retrieval(파일 20개 이하 · 총 300쪽 이내 · SharePoint 문서가 36,000자를 넘으면 분할 · 표는 평문화) · p.88~97 구조화된 문서가 검색 품질을 정하고 파일명과 메타데이터도 정보다. ↩

  2. Licensing and Copilot Credits — Microsoft Learn (확인 2026-08-11). 요율은 변경됩니다. 실제 산정 시 원문을 확인하세요. ↩

이 사이트의 소스는 GitHub에 있습니다. Just the Docs 테마로 만들었습니다.