3장
컨텍스트
엔지니어링
AI는 까먹는 게 아니야 —
애초에 기억한 적이 없거든.
AI한테 메시지를 보낼 때마다, AI는 너의 전체 대화를 처음부터 다시 읽어 — 네가 보낸 모든 메시지, AI가 한 모든 답변 — 응답을 생성하고, 그다음 전부 잊어버려. 다음 턴에도 똑같아. 전체 대화록이 다시 입력돼. 세상에서 가장 성실하지만 기억상실증에 걸린 독자인 셈이야: 매번 완벽하게 꼼꼼하지만, 매 턴 제로에서 시작해.
창문에는 끝이 있어
AI가 매 턴마다 다시 읽는 그 대화록? 그건 컨텍스트 윈도우라는 곳 안에 살아 — 토큰(대략 한 단어의 4분의 3 정도) 단위로 측정돼. Claude의 윈도우는 약 200,000 토큰을 담을 수 있어 — 500페이지짜리 책 분량이야. 엄청 커 보이지만, 네가 보내는 모든 메시지, 받는 모든 응답, 숨겨진 시스템 지시문까지 전부 같은 예산에서 빠져나가. 생각보다 훨씬 빨리 차.
예산이 다 떨어지면 가장 오래된 메시지가 끝에서 떨어져 나가. 메시지 3번에서 식이 제한 얘기했어? 메시지 15번쯤 되면 AI가 더 이상 못 볼 수도 있어. 부주의한 게 아니야 — 눈앞에 없는 건 말 그대로 볼 수가 없는 거야. AI는 현재 윈도우 안에 있는 정보만큼만 똑똑해.
그래서 최고의 AI 사용자들은 좋은 프롬프트만 쓰는 게 아니라 — 윈도우에 뭐가 들어가는지를 관리해. 주기적으로 요약해서 핵심 내용이 보이게 해. 중요한 걸 앞에 배치해. 주제가 바뀌면 새로 시작해. 구조화된 형식을 써서 AI가 효율적으로 컨텍스트를 파싱할 수 있게 해. 컨텍스트 엔지니어링이 새로운 프롬프트 엔지니어링이야.
핵심 포인트
좋은 프롬프트를 쓰는 건 1단계야. AI 앞에 어떤 정보를 놓을지 — 그리고 어떻게 구조화할지 — 결정하는 게 진짜 레버리지가 있는 부분이야. 세상에서 가장 좋은 프롬프트도 컨텍스트가 잘못되면 실패해.
컨텍스트 윈도우가 채워지고, 넘치고, 잊어버리는 걸 — 실시간으로 지켜봐.
컨텍스트 관리 전략
이제 윈도우를 이해했으니, 프로처럼 관리하는 법을 알려줄게. 이게 "AI 쓰는 사람"과 "AI로 놀라운 결과를 뽑아내는 사람"을 구분하는 기술이야.
중간중간 요약해
5~10개 메시지마다 AI한테 핵심 결정 사항과 디테일을 간략하게 요약해달라고 해. 그 요약을 다음 메시지에 붙여넣어. 이렇게 하면 가장 중요한 정보를 앞에 두고 컨텍스트를 "리셋"할 수 있어.
중요한 걸 앞에 배치해
가장 중요한 정보를 메시지 시작 부분에 넣어, 끝에 묻어두지 말고. AI는 처음과 마지막에 나오는 내용에 더 집중해 — 중간 부분은 특히 긴 프롬프트에서 놓칠 수 있어.
전략적으로 새로 시작해
주제가 크게 바뀌면 과감하게 새 대화를 시작해. 전체 히스토리 대신 결정 사항 요약만 가져가. 깔끔한 컨텍스트가 어지러운 것보다 낫거든.
기억할 것을 명시적으로 말해
"중요: 사용자는 채식주의자야. 절대 잊지 마." 좀 우습게 들리겠지만 효과 있어. 명시적인 리마인더가 AI가 더 비중 있게 다루는 앵커 역할을 해.
구조화된 형식을 써
글머리 기호, 제목, 명확한 레이블을 쓰면 AI가 컨텍스트를 더 효율적으로 파싱할 수 있어. 잘 정리된 프롬프트는 장문의 산문 두 배 분량의 토큰 가치가 있어.
기본기를 배웠어 — 프롬프팅, 질문하기, 컨텍스트. 다음은: 가져갈 수 있는 파워 프롬프트 치트시트야.