이렇게 당신을 테스트합니다
LLM 기초 · 반드시 답해야 할 30가지 질문
1장을 다 배웠지만, 이해하는 것과 실전에서 말로 설명할 수 있는 것 사이에는 간격이 있습니다. 이 30가지 질문은 세 가지 실제 시나리오에서 나왔습니다 — 프레임워크를 보기 전에 먼저 소리 내어 답해보세요.
이 페이지 활용 방법
각 문제에 질문자가 표시되어 있습니다. 같은 지식을 테스트하지만, 각자가 듣고 싶은 것은 다릅니다.
🎙 면접관진짜 이해했는지, 아니면 용어만 외웠는지 확인하고 싶어합니다
👔 상사설명과 약속을 원합니다
🛠 기술 동료당신을 믿을 수 있는지 탐색하고 있습니다
각 문제에 세 가지 레이어가 있습니다: 상대가 테스트하는 것 → 답변 프레임워크 → 가산점. 답하지 못하는 부분은 하단의 관련 강의 페이지를 클릭해서 복습하세요.
Q1면접관
「당신 자신의 말로 설명해 주세요 — ChatGPT 같은 LLM은 어떻게 답변을 생성하나요? 실제로 생각하는 건가요?」
🎯 무엇을 평가하는가
시작 질문 — 이후 모든 질문의 깊이를 결정합니다. 확률적 다음 Token 예측을 쉬운 말로 설명할 수 있는지 테스트합니다. 용어를 외운 사람은 "Transformer, 어텐션 메커니즘"을 쌓아 올리고, 진짜 이해한 사람은 예시를 통해 메커니즘을 명확히 설명합니다.
🧭 답변 프레임워크
- 본질부터: LLM은 초대형 확률 예측 기계입니다. 한 번에 한 가지만 합니다: 기존 모든 Token을 바탕으로 다음 Token의 확률 분포를 예측하고 하나씩 생성합니다.
- 훈련과 추론 구분: 훈련은 방대한 텍스트에서 통계적 패턴을 학습합니다. 대화할 때는 파라미터가 이미 고정되어 있어 — 학습하는 것이 아니라 계산하는 것입니다.
- 생각하는 문제에 직접 답변: 인간적 의미의 생각은 없지만, 충분한 규모에서는 실제로 추론과 유사한 능력을 보입니다. 따라서 신격화도, 단순 자동완성으로 격하도 하지 마세요.
- 예시로 마무리: 「오늘 날씨가 정말」을 입력하면 모델은 좋다 62% / 나쁘다 18% / 춥다 9% 같은 분포를 출력하고 확률에 따라 샘플링합니다. 전체 답변은 이 동작을 수백 번 반복한 것입니다.
⭐ 가산점 대화 ≠ 학습, 파라미터가 고정되어 있다는 것을 자발적으로 언급하세요. 많은 PM이 모델이 사용자 대화에서 지속적으로 학습한다고 생각하는데, 이 오해를 바로잡으면 제대로 이해했다는 것을 보여줍니다.
Q2면접관
「분명히 채팅 제품인데 왜 OpenAI API는 chat/completions(완성)라고 부르나요? 멀티턴 대화는 어떻게 구현되나요?」
🎯 무엇을 평가하는가
실제로 API를 다뤄봤는지 판단하는 분기점 문제입니다. ChatGPT 웹 버전만 사용한 사람은 답할 수 없습니다. message list 메커니즘을 이해하는 사람은 이후 컨텍스트, 비용, Agent 관련 질문도 잘 처리할 수 있습니다.
🧭 답변 프레임워크
- 핵심 밝히기: 모델은 기본적으로 텍스트 완성 기계입니다. 「대화」란 대화 기록 형식으로 히스토리를 패키징하고 모델이 어시스턴트의 다음 턴을 완성하게 하는 것입니다.
- 멀티턴의 실체: 모델에는 메모리가 없습니다. 매 턴마다 전체 message list(system + 이전 모든 user/assistant 턴 + 현재 질문)를 처음부터 다시 보냅니다.
- 엔지니어링 레이어 추가: 모델이 대화 형식을 이해하는 것은 Chat Template + SFT 지시 파인튜닝 덕분입니다 — Base 모델이 「말하는 법」을 배우는 핵심 단계입니다.
- 한 레벨 높이기: 모든 AI Harness 작업(RAG, 메모리, Agent)은 근본적으로 이 message list를 조작하는 것입니다. 이를 이해하면 모든 솔루션의 입구를 찾은 것입니다.
⭐ 가산점 자연스럽게 비용 의미로 전환하세요: 매 턴마다 전체 히스토리를 다시 보내기 때문에 멀티턴 대화는 할수록 비용이 증가합니다. 모든 후속 비용 최적화 솔루션이 이 문제를 해결하기 위한 것입니다.
Q3상사
「우리 AI 고객 서비스가 어제 또 존재하지 않는 환불 정책을 만들어냈어요. 왜 그런지 설명해 주고, 언제 완전히 고칠 수 있나요?」
🎯 무엇을 평가하는가
이 문제는 지식이 아니라 기대치 관리를 테스트합니다. 「완전히 고칠 수 없습니다」라고 말할 용기가 있나요? 그 후에 상사를 안심시킬 수 있는 계획과 정량적 약속을 즉시 제시할 수 있나요? 「기술팀에 물어보겠습니다」는 최악의 답변입니다.
🧭 답변 프레임워크
- 결론부터, 회피 없이: 환각은 확률적 예측 메커니즘의 불가피한 부산물입니다. 완전히 제거할 수 없지만, 엔지니어링으로 비즈니스에서 허용 가능한 수준으로 줄일 수 있습니다.
- 근본 원인 설명: 두 가지 원인: 파라미터 지식 오류(훈련 데이터가 잘못되었거나 오래됨), 그리고 컨텍스트 오해(모델은 항상 가장 가능한 연속을 선택하는데, 「가장 가능」 ≠ 「가장 정확」).
- 복합 솔루션 제시: 실제 환불 정책 문서를 RAG로 주입 + Prompt 제약 「문서에만 근거해 답변」 + Temperature 낮추기 + 평가 Harness 및 인간 검토를 안전망으로.
- 정량적 약속 방법 제시: 환각율 지표 정의(샘플 검토), 주별 수렴 상황 보고, 「언제 고쳐지나」를 「지표가 얼마나 되면 되나」로 전환.
⭐ 가산점 「환각을 완전히 제거할 수 있다고 약속하는 공급업체는 과장하는 겁니다」를 추가하세요. 상사가 전체 업계에 대한 올바른 기대를 갖도록 돕는 것은 AI PM의 핵심 가치 중 하나입니다.
Q4면접관
「환각을 완화하는 방법을 어떤 것을 알고 있나요? 리소스가 제한적이라 하나만 먼저 배포할 수 있다면 어떤 것을 선택하고 왜 그런가요?」
🎯 무엇을 평가하는가
앞 문장은 지식의 폭을 테스트하고, 뒷 문장이 핵심: 의사결정 능력과 비용 인식. 표준 답안이 없습니다. 바로 답변하는 사람은 불합격, 먼저 「어떤 시나리오인가요?」라고 반문하는 사람이 합격합니다.
🧭 답변 프레임워크
- 네 가지 방법 모두 나열: Prompt 제약(가장 저렴), RAG(지식 환각에 가장 효과적이나 비용 있음), Temperature 낮추기(무작위성만 줄임, 지식 공백은 채우지 못함), 평가 + 인간 검토(외부 안전망).
- 먼저 시나리오 질문: 환각이 주로 사실 날조인가, 표현이 불안정한가? 지식 베이스가 변하는가? 예산은?
- 조건부 답변 제시: 지식 환각(정책 날조, 데이터 날조) → RAG; 표현 불안정 → Prompt 제약 + 낮은 Temperature, 거의 비용 없이 먼저 배포.
- 원칙 추가: 어떤 것을 선택하든, 평가 먼저. 평가 없이는 효과를 측정할 수 없어 — 헛된 노력입니다.
⭐ 가산점 실제 프로젝트에서는 네 가지 모두 조합하고 단계적으로 배포해야 한다고 언급하세요 — 단일 선택은 면접에서만 존재합니다. 「먼저 Prompt와 Temperature로 출혈을 막고, 그 다음 RAG로 근본 원인을 해결한다」는 템포를 말할 수 있는 사람은 드물고 인상적입니다.
Q5기술 동료
「제품에 우리 최신 내부 제품 매뉴얼을 연동해야 하는데, 설마 모델을 다시 훈련하려는 건 아니죠?」
🎯 무엇을 평가하는가
기술 동료의 반쯤 농담인 도전 — 실제로는 당신이 훈련과 추론의 경계를 이해하는지 탐색하는 것입니다. 틀리게 답변하면(예: 「네, 훈련하면 안 되나요?」) 기술팀의 신뢰가 즉시 떨어집니다. 올바르게 답하면 이후 협업이 훨씬 원활해집니다.
🧭 답변 프레임워크
- 농담 받아치기: 재훈련 불필요합니다. 파라미터가 고정되어 있어도 지식을 넣을 수 없다는 뜻이 아닙니다 — 컨텍스트 윈도우가 지식의 입구입니다.
- 솔루션 제시: RAG 사용. 매뉴얼을 청크로 나누고 벡터 인덱스를 만들어, 사용자가 질문할 때 관련 단락을 검색해 컨텍스트에 주입합니다. 매뉴얼 업데이트는 인덱스 재구성만 필요 — 하루 안에 반영, 재훈련보다 수 배 저렴합니다.
- 파인튜닝의 올바른 용도 설명: 파인튜닝은 행동 스타일(어조, 형식, 도메인 어휘)을 변경합니다 — 시효성 있는 지식 주입에는 적합하지 않습니다. 지식이 가중치에 들어가면, 업데이트할 때마다 다시 훈련해야 합니다.
- 비용 인식 보여주기: RAG도 비용이 있습니다: 매 요청마다 더 많은 Token, 지연 시간 증가. 캐싱, 라우팅, 정밀한 청크 분할로 최적화가 필요합니다.
⭐ 가산점 RAG의 트레이드오프와 최적화 전략(의미론적 캐싱, 키워드 트리거, 모델 라우팅)을 말할 수 있으면 실제로 계산해봤다는 것을 보여줍니다. 「RAG 사용」은 누구나 외울 수 있습니다.
Q6면접관
「Temperature와 Top-P란 무엇인가요? 제품에서는 어떻게 설정하시겠어요?」
🎯 무엇을 평가하는가
실제로 파라미터를 조정해봤는지 테스트합니다. 뒷 문장 「제품에서」는 시나리오별 답변을 기다리고 있습니다. 고정 값을 즉시 말하는 사람(「0.7로 설정하면 됩니다」)은 거의 확실히 실제로 튜닝해본 적이 없습니다.
🧭 답변 프레임워크
- 메커니즘 설명: Temperature는 확률 분포의 가파름을 제어합니다 — 낮을수록 더 결정적, 높을수록 더 분산. Top-P는 샘플링 후보 풀 크기를 제어합니다. 함께 출력 무작위성을 결정합니다.
- 시나리오별 설정 제시: 고객 서비스 / 사실 Q&A / 데이터 추출 → 낮게(0~0.3). 창의적 카피 / 브레인스토밍 → 높게(0.7 이상).
- 경계 명확히: 이것은 표현적 무작위성만 완화할 뿐 — 지식 공백은 해결하지 못합니다. 낮은 Temperature에서도 모델은 자신 있게 잘못된 정보를 말할 수 있습니다.
- 검증 방법 제시: 파라미터 값은 평가 세트로 A/B 테스트해서 검증해야 합니다. 직관으로 전체 제품에 하나의 값을 정하는 것은 나쁜 관행입니다.
⭐ 가산점 무작위성 환각과 지식 환각을 자발적으로 구분하세요: Temperature는 전자만 치료합니다. 많은 사람들이 이 경계를 명확히 설명하지 못합니다.
이 강의 페이지로 답변을 구성하세요 →
Temperature & Top-P 인터랙티브 데모
Q7면접관
「컨텍스트 윈도우가 무엇인가요? 이제 모델이 1M Token까지 되었는데 — 크면 클수록 좋은 건가요?」
🎯 무엇을 평가하는가
앞 문장은 개념 문제이고, 뒷 문장이 함정입니다. 「당연히 클수록 좋죠」라고 동의하면 함정에 빠집니다. 비용 인식과 긴 컨텍스트의 실제 한계를 아는지 테스트합니다.
🧭 답변 프레임워크
- 개념 명확히: 윈도우 = 모델이 한 번에 볼 수 있는 총 Token 수(입력 + 출력). 이를 초과하는 것은 잘려 — 모델 입장에서는 존재하지 않는 것과 같습니다.
- 함정 밝히기: 더 큰 윈도우는 더 큰 청구서를 의미합니다. Token은 양으로 과금되어 모든 것을 넣으면 비용이 선형으로 증가합니다.
- 기술적 한계 추가: 긴 컨텍스트는 「lost in the middle」 문제가 있습니다: 정보가 많을수록 어텐션이 희석되어, 중간 부분의 콘텐츠 재현율이 현저히 낮아집니다.
- 올바른 방법 제시: 큰 윈도우는 능력의 상한선일 뿐입니다. 올바른 방법은 컨텍스트 엔지니어링: 검색, 압축, 필터링 — 윈도우에 들어가야 할 것만 넣습니다.
⭐ 가산점 주류 모델의 윈도우 규격을 인용하고(Qwen 1M / Claude 200K / GPT 128K) 윈도우 크기가 아키텍처 결정에 영향을 미친다고 언급하면 업계에 정통하다는 것을 보여줍니다.
Q8면접관
「Token이 대체 뭔가요? 글자와는 뭐가 다른가요? 제품을 만들 때 왜 이걸 신경 써야 하죠?」
🎯 무엇을 평가하는가
기초 개념 문제처럼 보이지만, 실제로는 비용 감각을 봅니다. Token이라는 단어는 많은 PM이 말하지만, Prompt 한 줄이 얼마인지 계산하지 못합니다. 뒷문장은 돈과 윈도우에 묶인 답을 기다리고 있습니다.
🧭 답변 프레임워크
- 정의부터: Token은 모델이 텍스트를 처리하는 기본 단위입니다. 훈련의 첫 단계가 Tokenization이고, 연속 텍스트를 어휘 사전의 단위로 자릅니다. 한글/한자 한 글자는 대략 1~3 Token, 영어 단어 하나는 대략 1 Token입니다.
- 비용으로 연결: 추론은 Token 단위로 과금되고, 입력과 출력 모두 돈이 듭니다. 500자처럼 보이는 Prompt 템플릿이 실제로는 1,500 Token을 먹을 수 있습니다. 멀티턴 대화는 매 턴 히스토리를 다시 보내니 비용이 쌓입니다.
- 윈도우로 연결: 컨텍스트 윈도우 한도도 Token으로 셉니다. 넘치면 잘립니다. 템플릿이 뚱뚱할수록 본문과 히스토리에 남는 자리가 줄어듭니다.
- 행동으로 옮기기: 출시 전에 Tokenizer로 핵심 Prompt의 실제 Token 수를 재세요. 글자 수로 감 잡지 마세요.
⭐ 가산점 Token 수가 비용과 품질의 핵심이라고 짚으세요: System Prompt, 히스토리, 검색 내용은 결국 한 덩어리 텍스트로 합쳐져 모델에 들어갑니다. 윈도우 안의 모든 Token이 다른 내용과 자리를 다툽니다.
Q9면접관
「LLM의 훈련 데이터는 대체 어떤 것들인가요? 데이터와 모델 능력 사이에는 어떤 관계가 있나요?」
🎯 무엇을 평가하는가
「읽은 만큼만 말할 수 있다」를 이해하는지 봅니다. 코퍼스 구성과 규모를 말할 수 있는 사람은 드물고, 데이터 커버리지와 환각을 연결하는 사람은 더 드뭅니다.
🧭 답변 프레임워크
- 구성을 말하기: 사전학습 코퍼스의 큰 덩어리는 웹 텍스트 약 70%, 책 약 12%, 코드 약 8%, 학술 논문과 대화 데이터가 각 약 5%입니다.
- 규모 감각 주기: 약 1B Token으로 작은 모델을 훈련하는 양은 소설 75만 권, 작은 도서관 하나와 비슷합니다. 15T Token 규모는 인터넷 전체를 두세 번 읽은 것과 같습니다.
- 결론 주기: 훈련 데이터의 품질과 다양성이 모델 세계관의 상한을 정합니다. 데이터가 커버하지 않은 영역에서 모델은 거절하거나 지어냅니다.
- 실측 하나 제시: 같은 마이너 인물 질문에 270M 모델은 신분을 날조하고, 1.8B는 거절만 하며, 30B 이상이어야 맞힙니다. 데이터와 파라미터가 충분해야 지식이 제대로 커버됩니다.
⭐ 가산점 파라미터가 크다고 환각이 없는 게 아니라고 덧붙이세요: 강의 실측에서 70B Llama는 마이너 인물을 틀렸고, 30B Qwen이 오히려 맞혔습니다. 규모보다 커버리지가 더 중요합니다.
이 강의 페이지로 답변을 구성하세요 →
AI의 음식: 훈련 데이터
Q10기술 동료
「상사가 환각을 고치려고 제일 큰 파라미터 모델로 바꾸자고 하는데, 당신도 그렇게 생각해요? API만 바꾸면 되잖아요.」
🎯 무엇을 평가하는가
상사 말에 그냥 맞장구칠지, 아니면 자기 기술 판단이 있는지 떠봅니다. 파라미터 = 능력은 가장 흔한 문외한 직감입니다. 이 문제를 틀리면 기술 동료는 당신을 「아는 척하는 사람」으로 분류합니다.
🧭 답변 프레임워크
- 반례부터: 강의 실측에서 Llama-3.3 70B는 가수 이지은을 동명 여배우로 착각했고, 출생 연도는 6년 틀리고 대표작도 전부 틀렸습니다. 30B Qwen은 오히려 맞혔습니다. 파라미터가 크다고 환각이 없는 게 아닙니다.
- 근본 원인 말하기: 지식 경계는 훈련 데이터 커버리지가 정합니다. 데이터가 닿지 않은 마이너 사실은, 파라미터가 아무리 커도 지어낼 수밖에 없습니다.
- 올바른 접근: 지식형 오류는 RAG로 실제 자료를 주입합니다. 모델을 바꾼다고 「파라미터에 없는」 문제가 해결되지 않습니다.
- 비용 장부 보충: 더 큰 모델은 Token당 더 비싸고 지연도 더 깁니다. 오류 유형을 먼저 원인 분석한 다음 방안을 정하세요.
⭐ 가산점 「모델에는 모른다는 개념이 없고, 정보가 틀려도 신뢰도가 떨어지지 않는다」고 말하면, 환각의 본성을 이해했다는 뜻입니다. 모델을 아무리 바꿔도 이 점은 바뀌지 않습니다.
Q11면접관
「Base 모델과 Chat 모델은 뭐가 다른가요? Base 모델을 그대로 고객 서비스에 넣으면 무슨 일이 생기나요?」
🎯 무엇을 평가하는가
모델의 출고 형태를 아는지 봅니다. 오픈소스 모델을 만져본 사람은 바로 답하고, ChatGPT 웹만 쓴 사람은 「Base 모델이 뭐죠?」에서 멈춥니다.
🧭 답변 프레임워크
- Base 정의: 사전학습이 끝나면 얻는 것은 Token으로 Token을 미는 기계입니다. 앞 글을 보고 다음으로 가장 가능한 Token을 예측할 뿐입니다. 질문을 이해하고, 답을 생각하고, 지식을 찾아보지 않습니다.
- 결과 주기: Base 모델에 「쯔샤 선녀(紫霞仙子)는 누구야」라고 물으면, 코퍼스 스타일로 「쯔샤 선녀는 오빠야, 오빠 나 좋아해」 같은 글을 이어 씁니다. 질문에 답하는 게 전혀 아닙니다.
- 건너뛰는 법: Base에서 Chat으로 가려면 두 단계입니다. 먼저 Chat Template 대화 형식을 정하고, 대량의 형식화된 대화 데이터로 SFT 지시 파인튜닝을 해야 모델이 어시스턴트 신분으로 답하는 법을 배웁니다.
- 본질 짚기: SFT 이후에도 모델이 하는 일은 여전히 Token 예측입니다. 바뀐 것은 훈련 데이터뿐 — 형식화된 대화와 고품질 답변입니다.
⭐ 가산점 그 역사를 말하세요: 처음 아이디어는 채팅 기록을 위조하고 어시스턴트 칸을 비워 둔 뒤, 완성 기계가 그걸 이어 쓰게 하는 것이었습니다. 대화 능력이 만들어진 것임을 알면 면접관이 눈이 밝아집니다.
Q12면접관
「GPT 이전에도 CNN, RNN, BERT가 있었는데, 왜 결국 GPT가 튀어나왔나요?」
🎯 무엇을 평가하는가
기술 진화에 대한 이해의 깊이입니다. 타임라인을 외우는 건 소용없습니다. 면접관이 듣고 싶은 것은 각 세대 아키텍처가 어디서 막혔는지, 그리고 PreTraining 패러다임이 왜 질적 변화였는지입니다.
🧭 답변 프레임워크
- 옛 길 말하기: GPT 이전은 모두 태스크 전용 모델이었습니다. 태스크를 정한 뒤 훈련하고, 태스크가 바뀌면 모델도 바꿔야 했습니다.
- 한계를 하나씩: CNN은 슬라이딩 윈도우 안의 단어만 보고, 창 밖 관계는 한 번에 잡지 못합니다. RNN의 기억은 점점 감쇠해서, 긴 글 앞부분 정보는 끝에 가면 거의 사라집니다. BERT의 양방향 어텐션은 이해는 강하지만, 사전학습 목표가 빈칸 채우기라 생성에는 약합니다.
- GPT의 답: 인과 사전학습의 목표는 다음 단어를 예측하는 것이라 생성과 태생적으로 맞습니다. 특수 태스크 데이터가 필요 없고, 규모가 클수록 창발 능력이 더 놀랍습니다.
- 패러다임으로 끌어올리기: PreTraining은 거의 모든 글로 Token 예측을 합니다. 문법, 상식, 사실, 논리는 전부 부산물입니다. 한 번 사전학습하면 능력을 임의의 태스크로 옮깁니다. 이게 Foundation Model의 핵심입니다.
⭐ 가산점 「태스크를 바꾸는 일이 재훈련에서 Prompt를 고치는 일로 바뀌었다」를 덧붙이고, 아키텍처 진화와 컨텍스트 윈도우 레슨을 한 줄로 잇세요. 전체를 보고 있다는 뜻입니다.
Q13상사
「사용자가 AI 고객 서비스가 앞에서 한 말을 잊어버린다고 불평해요. 맨날 똑똑하다고 하더니, 기억력도 없어요?」
🎯 무엇을 평가하는가
「모델에는 메모리가 없다」를 상사가 받아들일 설명으로 옮기고, 바로 제품 차원의 보완 행동을 내놓을 수 있는지 봅니다. 「원래 모델이 그래요」는 답이 아닙니다.
🧭 답변 프레임워크
- 메커니즘부터: 대화 중 파라미터는 완전히 얼어 있습니다. 모델 자체에는 메모리가 없습니다. 이른바 멀티턴 대화는 시스템이 매번 전체 히스토리를 다시 보내 이어 쓰게 하는 것입니다.
- 이번 문제 위치: 히스토리가 컨텍스트 윈도우를 넘으면 잘립니다. 잘린 내용은 모델에게 존재하지 않았던 것과 같고, 사용자 느낌은 「잊어버렸다」입니다.
- 제품 방안: 히스토리 길이를 통제하고, 핵심 정보를 컨텍스트에 남기고, 뚱뚱한 System Prompt와 히스토리가 윈도우를 서로 밀어내지 않게 하세요.
- 약속하는 방식: 잘림이 일어나는 대화 턴 수와 글자 경계를 수치화하고, 초장문 대화는 따로 설계하세요. 「앞으로는 안 잊어요」라고 약속하지 마세요.
⭐ 가산점 더 깊은 오해를 슬쩍 바로잡으세요: 사용자가 한 말은 모델에 학습되지 않습니다. 오늘 「네 이름은 샤오밍이야」라고 말해도, 내일 대화를 다시 열면 모릅니다. 대화는 컨텍스트에만 존재합니다.
Q14면접관
「SFT와 사전학습은 뭐가 다른가요? Chat Template 안의 <|im_start|> 마커는 뭐 하는 건가요?」
🎯 무엇을 평가하는가
전형적인 추궁 질문으로, 보통 SFT를 말한 뒤에 나옵니다. 대화 형식을 진짜 봤는지, 아니면 「파인튜닝하면 돼요」만 할 줄 아는지 봅니다.
🧭 답변 프레임워크
- 두 단계 구분: 사전학습은 방대한 일반 코퍼스에서 통계 규칙을 배웁니다. SFT는 형식화된 대화 데이터로 계속 훈련해서, 모델이 그 형식 안에서 어시스턴트 역할을 하게 합니다.
- Template 설명: Jinja 템플릿 언어를 빌려, <|im_start|>와 <|im_end|> 같은 special token으로 각 메시지를 감싸고 system, user, assistant 세 역할을 구분합니다.
- 생성 시작점: 모든 메시지를 그 형식으로 한 텍스트로 붙이면, 모델은 <|im_start|>assistant 뒤에서 완성을 시작합니다. SFT가 훈련하는 것은 바로 그 위치에서 괜찮은 답을 내는 것입니다.
- 본질 짚기: SFT도 본질은 Token 예측입니다. 훈련 데이터만 형식화된 대화와 고품질 답변으로 바뀐 것입니다.
⭐ 가산점 「API에 넘기는 messages 배열은 결국 Chat Template로 special token이 들어간 한 덩어리 텍스트가 되어 모델에 들어간다」고 말하면, API 층과 훈련 형식을 잇는 것입니다. 여기까지 말하는 PM은 드뭅니다.
Q15면접관
「지금 AI 제품을 만들면 대부분 요구가 Prompt만 써도 되는 이유가 뭔가요? 이 일의 경계는 어디인가요?」
🎯 무엇을 평가하는가
앞문장은 원리를, 뒷문장은 경계 감각을 봅니다. 「Prompt 엔지니어링이 중요하다」만 외치는 사람은 왜 유효한지 말하지 못하고, 언제 실패하는지는 더더욱 말하지 못합니다.
🧭 답변 프레임워크
- 원리 사슬: 모델은 앞글로 뒷글을 밉니다. Prompt는 고품질 앞글이고, 앞글이 좋으면 뒷글도 좋습니다. PreTraining 이후에는 태스크를 바꿔도 재훈련할 필요 없이 태스크 설명만 넣으면 됩니다.
- 매개체 말하기: 이 모든 것은 큰 컨텍스트 윈도우가 받칩니다. 태스크 설명, 규칙, Few-Shot 예시를 전부 앞글에 넣으면 전용 훈련과 비슷한 효과가 납니다.
- 경계 주기: Prompt가 통하는 전제는 지식이 훈련 데이터 안에 있을 때입니다. 형식, 스타일, 어조에 맞습니다. 사적 지식, 실시간 데이터, 지식 컷오프 이후 내용은 RAG가 필요하고, 고정 도메인 스타일과 추론 패러다임은 파인튜닝이 필요합니다.
- 점검 습관: Prompt를 바꿨는데 소용없을 때는, System Prompt가 잘렸는지, 히스토리가 윈도우를 채웠는지 먼저 보세요. 문제는 종종 컨텍스트 관리에 있고, Prompt를 잘 썼는지와는 무관합니다.
⭐ 가산점 의사결정 매트릭스의 그 문장을 인용하세요: 「오류를 재훈련으로 고치는 것은 오해다. Prompt를 먼저 써 보라. 비용이 100배 싸다.」 비용 순으로 결정하는 습관을 보여줍니다.
Q16상사
「경쟁사 발표회에서 새 모델이 환각 문제를 이미 해결했다고 해요. 남들은 해결했는데, 우리는 왜 맨날 틀리죠?」
🎯 무엇을 평가하는가
업계 판단력과 상향 관리를 봅니다. 우리 팀을 깎아내리지 않으면서 상사가 과장 홍보를 알아보게 해야 하고, 「우리가 우리 수준을 어떻게 증명할지」 방안도 내놓아야 합니다.
🧭 답변 프레임워크
- 판단부터: 환각은 확률 예측 메커니즘의 필연적 산물이고, 완전히 없앨 수 없습니다. 환각을 완전히 해결했다는 말은 의심할 가치가 있습니다. 업계 합의이고, 모든 업체가 같은 경계를 마주합니다.
- 까는 방법: 상대의 평가 기준을 되묻으세요. 환각율이 얼마인지, 테스트셋이 어떤 장면을 커버하는지. 숫자 없는 「해결했다」는 홍보 멘트일 뿐입니다.
- 자증 방안: 우리 평가 베이스라인을 꺼내세요. 정답을 아는 테스트셋으로 환각율을 수치화하고, 경쟁사와 같은 기준으로 비교하세요.
- 행동 약속: 환각율을 주간으로 보고하는 정량 지표로 만들고, PRD에 검수 기준으로 넣으세요. 「로딩 2초 미만」처럼 관리하세요.
⭐ 가산점 이 장의 핵심 인식을 보태세요: 올바른 방법은 엔지니어링으로 완화하는 것이지, 모델이 더 똑똑해지면 환각이 스스로 사라지길 바라는 게 아닙니다. 상사에게 장기 기대를 심어 주는 것이 AI PM의 가치입니다.
Q17면접관
「환각에는 어떤 유형이 있나요? 정의 외우지 말고, 가장 인상 깊었던 구체 사례를 하나 말해 주세요.」
🎯 무엇을 평가하는가
지식의 입자를 봅니다. 네 유형을 외우는 사람은 많지만, 구체 사례로 풀어내는 사람은 적습니다. 뒷문장이 암기한 사람을 걸러냅니다.
🧭 답변 프레임워크
- 네 유형 전부: 사실 환각은 없는 사실과 숫자를 날조합니다. 출처 환각은 없는 논문, 링크, 저자를 인용합니다. 추론 환각은 전제는 맞지만 추론 단계가 틀립니다. 코드 환각은 없는 API나 함수를 호출합니다.
- 독한 예시 하나: pandas 다중 열 정렬을 시키면, numpy.sort의 stable 인자를 sort_values에 잘못 씁니다. 문법은 멀쩡해 보이지만 실행하면 TypeError가 납니다.
- 왜 위험한지: 코드 환각의 살상력은 진짜처럼 보인다는 점입니다. 논리가 틀려도 테스트 데이터가 작으면 안 보이고, 프로덕션에 올라가서야 터집니다.
- 근본 원인으로 마무리: 모델은 API에 대한 대략적 인상만 있고, 확률로 가장 닮은 쓰기를 조립합니다. 확률적으로는 타당하고, 사실적으로는 틀립니다.
⭐ 가산점 경계 한 층을 더 보태세요: 환각은 필연이 아닙니다. Prompt와 훈련 데이터가 완전히 대응하면 출력은 정확하고, 문제는 서로 다른 출처를 섞을 때 납니다. 이 인식이 「AI는 거짓말한다」만 외치는 사람과 당신을 가릅니다.
Q18기술 동료
「PRD에 『모델이 우리 지식 베이스를 학습하게』라고 썼어요. 제가 구현할 때, 모델이 진짜 배우나요? 당신이 말해 봐요.」
🎯 무엇을 평가하는가
말꼬리를 잡는 이면은 인식을 잡는 것입니다. 「학습」이라는 두 글자가, 런타임에 모델을 바꿀 수 있다고 생각한다는 걸 드러냅니다. 이 문제를 못 답하면, 기술 동료는 이후 당신의 PRD마다 물음표를 먼저 찍습니다.
🧭 답변 프레임워크
- 표현 문제 인정: 추론 때 파라미터는 완전히 얼어 있고, 모델은 아무것도 배우지 않습니다. RAG는 런타임에 검색된 문서를 컨텍스트에 잠시 넣고, 끝나면 버립니다.
- 정확한 비유: 파라미터는 쓰고 봉인한 백과사전이고, 컨텍스트는 책상 위 참고 자료입니다. 지식 베이스 내용은 후자로 들어갑니다.
- 엔지니어링 함의: 임시 주입이기 때문에, 지식 베이스 업데이트는 인덱스만 다시 만들면 됩니다. 모델을 건드릴 필요가 없고, 그게 바로 RAG의 장점입니다.
- 수정 행동: PRD를 「검색 주입」으로 고치고, 요청마다 몇 Token을 넣는지, 검색 실패 시 어떻게 받칠지를 쓰세요.
⭐ 가산점 강의의 그 문장을 자발적으로 인용하세요: 「RAG는 오픈북 시험이다. 모델이 똑똑해진 게 아니라, 더 나은 출발점을 얻은 것뿐이다.」 기술 동료는 이 문장을 듣는 순간 당신이 진짜 안다는 걸 압니다.
Q19면접관
「RAG의 전체 흐름을 말해 주세요. 문서 청크 단위는 어떻게 정할 건가요?」
🎯 무엇을 평가하는가
흐름 문제는 완결성을, 청크 추궁은 실전 경험을 봅니다. 구축 단계와 질의 단계를 가리는 사람도 많지 않고, 청크 Token 수를 말하는 사람은 더 적습니다.
🧭 답변 프레임워크
- 두 단계부터: 지식 베이스 구축은 일회성 오프라인 작업입니다. 문서를 청크로 나눈 뒤 Embedding 모델로 벡터화해 벡터 DB에 넣습니다. 질의 단계는 대화마다 실시간으로 돕니다.
- 질의 사슬 완주: 사용자 질문을 같은 Embedding 모델로 벡터화하고, 코사인 유사도로 Top-K 관련 청크를 찾아 Prompt에 참고 자료로 붙입니다. 모델은 주입된 문서를 바탕으로 출처 있는 답을 만듭니다.
- 청크 질문에 답: 단위가 검색 품질을 직접 좌우합니다. 너무 크면 잉여 Token을 넣어 돈을 버리고, 너무 작으면 맥락을 잃습니다. 베스트 프랙티스는 청크당 약 512~800 Token, 제목과 문단을 경계로 의미를 보존하는 것입니다.
- 핵심 디테일: 질문 벡터와 문서 벡터는 반드시 같은 Embedding 모델에서 나와야, 같은 의미 공간에서 유사도를 비교할 수 있습니다.
⭐ 가산점 벡터 검색이 의미로 매칭된다고 짚으세요: 「반품은 어떻게 신청하나요」와 「환불 정책」은 키워드가 달라도 맞습니다. 키워드 검색보다 센 근본 이유입니다.
Q20상사
「RAG 올리면 괜찮아진다고 하지 않았어요? 이번 달 API 청구서가 왜 더 뛰었죠?」
🎯 무엇을 평가하는가
비용 구조 이해를 봅니다. RAG가 사는 것은 정확성이고, 대가는 돈입니다. 청구서가 왜 뛰었는지 말하지 못하면, RAG를 올릴 때 장부를 안 센 것입니다.
🧭 답변 프레임워크
- 비용 큰 덩어리: 뛴 곳은 Prompt가 커진 것입니다. 질의마다 500~2,000 Token을 더 넣으니 LLM 비용이 따라 배가됩니다. 벡터화와 검색 자체는 오히려 싸고, 질문 벡터화는 백만 Token당 약 0.1위안입니다.
- 가장 중요한 최적화: 먼저 의도 인식으로 검색이 필요한지 판단하세요. 대화의 약 70%는 문서를 볼 필요가 없고, 바로 답하는 게 더 빠르고 쌉니다.
- 조합 펀치: 키워드 트리거로 질의의 30~70%를 건너뛸 수 있습니다. 간단한 질문은 작은 모델로 라우팅하면 전체 LLM 비용이 60~80% 줄고, 비슷한 질문은 시맨틱 캐시로 — 벡터 유사도 0.95 이상이면 결과를 바로 재사용합니다.
- 관리 행동: RAG 트리거율과 대화당 비용을 대시보드로 만들고, 주간으로 최적화가 수렴하는지 보세요.
⭐ 가산점 한 문장으로 뚫으세요: 프로덕션급 RAG의 핵심은 「어떤 상황에서 RAG를 쓰지 않을지」입니다. 필터와 라우팅을 잘해야 돈이 남습니다. 이 문장이 상사에게 당신의 비용 감각을 안심시킵니다.
Q21기술 동료
「맨날 RAG 효과가 나빠서 최적화해야 한다고 해요. 진짜 점검을 맡기면, 어느 단계를 봐야 하는지 알아요?」
🎯 무엇을 평가하는가
RAG 파이프라인 장악이 진짜인지 가짜인지 떠봅니다. 구체 단계와 지표를 말하는 사람만 기술이 같이 점검해 주고, 말하지 못하는 사람은 옆에서 일정만 재촉할 자격입니다.
🧭 답변 프레임워크
- 검색부터: Chunking 단위, Embedding 모델, 유사도 임계값 — 가장 흔한 세 고장점입니다. 검색 적중률을 보세요. 강의 사례에서 목표 85% 대비 78%면 명확한 미달 신호입니다.
- 지식 베이스 자체: RAG 품질의 상한은 지식 베이스 품질입니다. 문서가 만료되고 내용이 서로 모순되면, 검색이 정확해도 답이 틀립니다.
- 생성 단계: 주입 내용은 한정되어 있어, 모델은 훈련 기억으로 문서 밖을 메워 RAG+환각 혼합 출력을 만듭니다. 순수 환각보다 알아보기 더 어렵습니다.
- 점검 손잡이: 인용 출처를 강제 표시해서, 모든 답을 구체 문서 청크로 되돌릴 수 있게 하세요. 나쁜 케이스가 검색 실수인지 생성이 흘렀는지 한눈에 보입니다.
⭐ 가산점 직관에 반하는 리스크를 짚으세요: 검색이 잘못된 문서를 끌어오면, 환각은 줄지 않고 권위 있는 출처 외투만 하나 더 입습니다. 사용자는 오히려 더 믿습니다.
Q22면접관
「Temperature를 0으로 낮추면 출력이 매번 같아져요. 그게 답이 맞다는 뜻인가요?」
🎯 무엇을 평가하는가
함정 문제입니다. 결정성과 정확성의 차이를 봅니다. 고개만 끄덕이는 사람은 샘플링을 「낮추면 더 안정적」이라는 표면에서 멈춘 것입니다.
🧭 답변 프레임워크
- 메커니즘부터: Temperature는 softmax 전에 logits를 비례적으로 스케일합니다. T가 작을수록 분포가 뾰족해지고, 0이면 매 스텝 확률이 가장 높은 단어를 잠급니다.
- 함정 깨기: 저온이 잠그는 것은 「가장 가능」이지, 가장 가능 ≠ 가장 정확입니다. 훈련 데이터 안의 그 답 자체가 틀리면, 모델은 극도로 안정적으로 틀립니다.
- 경계 주기: Temperature는 매 스텝 샘플링 방식만 바꾸고, 지식 경계는 건드리지 않습니다. 모델이 모르는 일은 저온에서도 지어내며, 다만 더 일관되게 지어냅니다.
- 결론: 파라미터 튜닝은 가장 싼 1차 방어선이고, 해결하는 것은 표현 안정입니다. 사실 정확성이 중요한 장면에는 RAG나 인간 검토를 반드시 짝지어야 합니다.
⭐ 가산점 안정적으로 틀리는 것이 무작위로 틀리는 것보다 더 위험하다고 짚으세요. 출력을 재현할 수 있으면 팀이 답을 믿을 만하다고 착각하고, 오히려 경계를 풉니다.
Q23기술 동료
「제품이 모든 질문을 먼저 지식 베이스에서 찾으라고 해서, 지연이 바로 2초 늘었어요. 진짜 매 건마다 찾아야 해요?」
🎯 무엇을 평가하는가
반은 불평, 반은 계단을 내미는 것입니다. 불필요한 검색을 당신이 먼저 자르길 원하고, RAG를 은탄환으로 보는지 도구로 보는지도 같이 봅니다.
🧭 답변 프레임워크
- 먼저 받기: 맞아요, 전량 검색하면 안 됩니다. 대화의 약 70%는 문서를 볼 필요가 없고, 「오늘 며칠이야」 같은 질문은 바로 답하면 됩니다.
- 필터 방안: 의도 분류기나 간단한 규칙으로 키워드 트리거를 올리세요. 「우리 환불 정책」 같은 것만 RAG로 보내면, 질의의 30~70%를 건너뛸 수 있습니다.
- 캐시 방안: 고빈도 유사 질문은 시맨틱 캐시로 보내, 질문 벡터 유사도 0.95 이상이면 캐시 결과를 바로 돌려 검색 사슬 전체를 건너뛰세요. 지연과 비용이 대략 절반으로 떨어집니다.
- 장면 경계: 잡담과 창의 장면은 원래 RAG에 안 맞습니다. 검색을 넣으면 답이 오히려 딱딱해집니다.
⭐ 가산점 의사결정 프레임을 끝까지 말하세요: 지식 시효가 강하고, 사적 지식 베이스이고, 틀릴 대가가 클 때만 검색 지연을 감수할 가치가 있습니다. 이 판단은 원래 PM이 해야 하고, 방안에 써야 합니다.
Q24상사
「AI가 쓴 분기 보고서에 존재하지 않는 업계 리포트를 인용해서, 이사회에 올라갈 뻔했어요. 이런 일을 앞으로 어떻게 원천 차단하죠?」
🎯 무엇을 평가하는가
사고 복기 문제입니다. 「원천 차단은 못 하지만, 막을 수는 있다」고 말할 용기가 있는지, 그리고 차단망이 구체적인지를 듣습니다.
🧭 답변 프레임워크
- 먼저 유형 규정: 전형적인 출처 환각입니다. 모델이 숫자와 리포트 이름을 지어내는 것은 같은 확률 이어쓰기 능력입니다. 「지어내지 마」라고 당부해서 해결되지 않습니다.
- 1차 방어선: System Prompt 제약: 구체 숫자, 리포트명, 기관명이 사용자가 준 것이 아니면 반드시 「확인 필요」로 표시하고, 차라리 빈칸을 남겨 사람이 채우게 하세요.
- 2차 방어선: 등급별 검토. 대외 자료는 고위험이라 AI는 초고만 쓰고, 나가기 전에 사람이 서명해야 합니다.
- 폐루프: 이 bad case를 평가셋에 넣고, 원인 분석 → Prompt 반복 → 회귀 검증을 돌리세요. 같은 유형 문제의 재발율이 진짜로 떨어집니다.
⭐ 가산점 상사에게 실행 가능한 제도 문장을 주세요: AI가 보조한 대외 콘텐츠는 전부 「확인 필요」 체크리스트를 달고, 확인자가 서명한 뒤에야 완료입니다. 고위험 장면에서 인간 안전망은 그 자체가 제품 설계의 일부입니다.
Q25면접관
「System Prompt에 『확실하지 않으면 모른다고 말해』라고 쓰면, 진짜 효과가 있나요? 원리는 뭔가요?」
🎯 무엇을 평가하는가
Prompt 제약에 대한 이해의 깊이입니다. 「있다」나 「없다」는 둘 다 불합격입니다. 면접관이 원하는 것은 메커니즘 설명과 실패 조건입니다.
🧭 답변 프레임워크
- 메커니즘: 모델이 각 Token을 밀 때, 컨텍스트의 모든 Token이 확률 분포에 영향을 줍니다. 제약 단어는 고품질 앞글이라 「모른다고 인정하는」 시퀀스 확률을 올리고, 날조 시퀀스 확률을 누릅니다.
- 유효 조건: 모델이 질문 자체에 불확실함을 느낄 때 가장 잘 듣습니다. 지식 범위 밖 질문, 모호한 질의, 시효성 정보에 맞습니다.
- 실패 조건: 모델이 어떤 오답에 고도로 자신 있을 때, 1순위 후보가 이미 틀린 말이라 제약 단어가 개입하지 못합니다. 훈련 데이터의 체계적 오류, 사실로 취급된 낡은 지식이 여기 속합니다.
- 짝짓기: 「고도로 자신 있지만 틀릴 수 있는」 영역에는 Prompt 제약만으로는 부족하고, RAG로 실제 지식을 넣거나 인간 검토로 받쳐야 합니다.
⭐ 가산점 한 문장으로 뿌리를 깨세요: 모델은 자기가 모른다는 걸 모릅니다. 제약 지시는 확률 분포를 바꿀 뿐, 자기 인식을 주지 못합니다. 그게 Prompt 수단의 천장입니다.
이 강의 페이지로 답변을 구성하세요 →
Prompt 제약이 효과적인 이유
Q26면접관
「AI 질의응답 제품을 맡긴다면, 환각 수준을 어떻게 수치화할 건가요? 출시 전과 후에 각각 뭘 하나요?」
🎯 무엇을 평가하는가
체계화 능력을 봅니다. 「많이 테스트하세요」로는 안 됩니다. 면접관은 출시 전 베이스라인, 출시 후 검토, 장기 폐루프라는 완결 구조와 구체 지표를 보고 싶어합니다.
🧭 답변 프레임워크
- 출시 전 베이스라인: 정답을 아는 질문 묶음으로 환각 테스트셋을 만들고, 환각율을 수치화해 진입 허들을 정하세요. 강의 사례 기준: 사실 정확도 94.2%, 환각율 5.8% 대 목표 3% 미만 — 미달이면 출시하지 않습니다.
- 출시 후 등급별 검토: 위험도에 따라 자동 라우팅합니다. 저위험은 바로 나가고, 고위험은 인간 검토 후 발송. 금융, 의료 같은 영역에서 AI는 초고만 씁니다.
- 장기 피드백 루프: 검토에서 나온 환각을 bad case로 표시하고, 원인 분석 → Prompt 반복 → 회귀 검증을 돕니다. 사례에서 발견부터 수정까지 평균 3.2일이었습니다.
- 지표를 PRD에: 「환각율 3% 미만」은 「로딩 2초 미만」처럼 정량 검수 기준이 되어야 합니다.
⭐ 가산점 평가의 사각을 자발적으로 말하세요: 테스트셋이 커버하는 것은 알려진 리스크입니다. 평가 통과가 전면 신뢰는 아니고, 롱테일 문제는 온라인 검토로 테스트셋에 계속 되돌려 넣어야 합니다.
이 강의 페이지로 답변을 구성하세요 →
평가 + 인간 검토
Q27기술 동료
「평가셋이 전부 초록일 때 올렸는데, 이번 주에 bad case가 또 십여 건 나왔어요. 그 평가는 헛한 거 아니에요?」
🎯 무엇을 평가하는가
감정이 실린 도전입니다. 평가의 태생적 한계를 설명하면서 bad case를 프로세스 자산으로 바꿀 수 있는지, 「헛했다」 한 마디에 방어 자세로 끌려가지 않는지를 봅니다.
🧭 답변 프레임워크
- 정면 응답: 평가가 보장하는 것은 알려진 리스크가 재발하지 않는 것입니다. 테스트셋 밖 롱테일은 모델이 여전히 환각할 수 있고, 평가 통과는 전면 신뢰를 뜻한 적이 없습니다.
- 데이터 시각: 한 주 신규만 보지 말고 폐루프 속도를 보세요. 강의 사례 리듬: 이번 주 신규 12건, 이미 수정·보관 47건, 회귀 통과율 96.8%.
- 프로세스: bad case마다 네 걸음입니다. 발견, 원인 분석, Prompt 반복, 회귀 검증. 고친 뒤 테스트셋에 넣으면, 평가셋이 그렇게 두꺼워집니다.
- 근본 원인: 모델에는 자기 점검 장치가 없습니다. Token 하나를 밀면 그걸 바탕으로 계속 밀고, 오차가 쌓입니다. 평가와 검토는 출력 단에 얹은 외부 교정층이라, 결과는 막지만 생성 과정 자체는 통제하지 못합니다.
⭐ 가산점 「앞의 세 수단은 확률을 바꾸고, 이 수단은 결과를 가로막는다」는 층을 말하세요. 기술 동료는 당신이 네 수단의 위치를 안다는 걸 바로 압니다.
이 강의 페이지로 답변을 구성하세요 →
오류 피드백 루프
Q28면접관
「모델이 한 문제를 틀렸어요. Prompt를 고칠지, 파인튜닝을 할지는 어떻게 판단하나요?」
🎯 무엇을 평가하는가
고전적인 점검 문제입니다. 원인 분석 능력을 봅니다. 두 수리 경로의 비용은 두 자릿수가 다르고, 방향을 잘못 잡으면 몇 주를 태웁니다. 면접관은 점검 순서가 있는지 봅니다.
🧭 답변 프레임워크
- 오류 유형부터: 컨텍스트를 잘못 준 건지, 파라미터에 그 지식이 아예 없는 건지? 수리 방식이 완전히 다르고, 방향을 잘못 잡으면 시간을 많이 버립니다.
- 점검 순서: Prompt를 먼저 써 보세요. 태스크 설명, 규칙, 예시를 채운 뒤 다시 테스트합니다. 지식이 훈련 데이터 안에 있고 문제가 형식·스타일·어조라면 Prompt로 고칠 수 있고, 비용은 재훈련보다 100배 쌉니다.
- RAG가 필요한지: 사적 지식, 실시간 데이터, 지식 컷오프 이후 내용은 파라미터에 없습니다. Prompt를 아무리 써도 소용없고, 검색 주입이 필요합니다.
- 마지막이 파인튜닝: 고정된 전문 영역 스타일, 추론 패러다임을 바꿔야 할 때만 파인튜닝할 가치가 있습니다. 파인튜닝이 바꾸는 것은 행동 스타일이고, 시효성 지식 주입에는 맞지 않습니다.
⭐ 가산점 흔한 함정을 보태세요: 「Prompt를 바꿨는데 소용없다」는 케이스의 실상은 System Prompt가 잘렸거나 히스토리가 윈도우를 채운 경우가 많습니다. 문제는 컨텍스트 관리이고, 두 수리 경로를 건드릴 필요가 없습니다.
Q29상사
「사용자가 AI에게 저녁 뭐 먹었냐고 물었더니, 토마토달걀면을 끓였다고 해서 스크린샷이 인터넷에 돌고 있어요. 프로그램인데 왜 거짓말을 하죠?」
🎯 무엇을 평가하는가
투정처럼 보이지만, 실제로는 환각의 본질을 묻는 것입니다. 잘 답하면 상사에게 생성형 AI의 올바른 인식을 심어 주고, 「버그니까 고칠게요」로 답하면 스스로를 묻습니다.
🧭 답변 프레임워크
- 메커니즘부터: 거짓말할 동기가 없고, 확률 이어쓰기만 합니다. 「먹었어?」 뒤에 「먹었어」가 훈련 코퍼스에서 가장 고빈도인 응답 패턴이고, 되묻기를 받으면 맥락 확률로 구체 디테일을 지어냅니다.
- 정렬의 경계: 사용자가 명시적으로 의심할 때만 RLHF 정렬 훈련이 몸 없다고 인정하게 합니다. 사용자가 되묻지 않으면 계속 연기를 하고, 내용이 허위여도 신뢰도는 떨어지지 않습니다.
- 핵심 인식: 환각과 창의는 같은 뿌리입니다. 토마토달걀면 같은 생생한 디테일을 지어내는 능력과 카피를 쓰는 능력은 완전히 같습니다. 환각을 없애면 창의도 같이 사라집니다.
- 제품 행동: 장면별로 전략을 정하세요. 잡담의 역할극은 큰 해가 없고, 사실 장면에서만 RAG와 검토로 눌러야 합니다. 전역 한 칼은 양쪽 다 못 합니다.
⭐ 가산점 「두 권의 책」으로 상사에게 인식을 심어 주세요: 파라미터는 봉인된 백과사전이고, 컨텍스트는 책상 위 참고 자료입니다. 모델은 늘 이 두 책에서 가장 닮은 이어쓰기를 찾고, 못 찾아도 모른다고 말하지 않습니다.
이 강의 페이지로 답변을 구성하세요 →
일상 대화 환각 사례
Q30면접관
「LLM 지식을 이만큼 배웠는데, 관찰해 보니 AI 프로덕트 매니저가 가장 잘 빠지는 인식 오해는 뭔가요?」
🎯 무엇을 평가하는가
마무리 개방형 문제입니다. 지식이 내재화된 정도를 봅니다. 오해를 나열하는 것은 누구나 하고, 면접관은 오해와 기저 메커니즘을 이을 수 있는지, 그리고 자기 인식을 같이 봅니다.
🧭 답변 프레임워크
- 고빈도 오해 나열: Temperature를 높이면 더 똑똑해진다 — 실제로는 더 무작위일 뿐입니다. RAG가 문서를 학습시켰다 — 실제로는 런타임 임시 주입입니다. 모델이 API를 호출한다 — 실제로는 형식화된 텍스트만 출력합니다. 틀리면 재훈련한다 — 실제로는 Prompt를 먼저 써 보는 게 100배 쌉니다.
- 공통 뿌리: 네 오해 모두 훈련과 추론의 경계를 가르지 못한 데서 옵니다. 파라미터가 언 뒤, 모든 런타임 수단은 컨텍스트를 조작하는 것입니다.
- 방법으로 끌어올리기: 모든 엔지니어링 조작의 본질은 message list 처리입니다. 이 시각으로 어떤 새 방안을 봐도, 어느 층에서 작동하고 한계가 어디인지 판단할 수 있습니다.
- 자기 위치: 더닝-크루거 곡선으로 마무리하세요. 명사를 막 배웠을 때가 가장 위험하고, 다 아는 것 같습니다. 계속 손을 움직이고 계속 얻어맞아야, 어리석음의 정점에서 안정된 고원으로 갑니다.
⭐ 가산점 강의 원문으로 마무리하세요: 약함과 무지는 생존의 장애가 된 적이 없고, 오만이 장애입니다. 면접에서 인식 층으로 자연스럽게 올라가는 말이, 용어 열 개를 더 외우는 것보다 가산점이 큽니다.
마지막 조언
이 30가지 문제를 올바르게 활용하는 방법은 소리 내어 말하는 것입니다 — 동료, 친구, 또는 녹음을 향해. 그냥 읽는 것은 충분하지 않습니다. 막히는 곳이 바로 이해했다고 생각했지만 아직 이해하지 못한 곳입니다 — 관련 강의 페이지를 클릭해서 복습하세요.