AI 답변을 먼저 세 번 검사하기
출처를 묻고, 교차 검증하고, 불확실한 건 표시하세요. 같은 답변이 세 문을 지나가요. 문을 열 때마다 걸러내는 게 달라요. 세 문을 다 연 뒤에도 한 줄은 원문을 직접 펴봐야 해요.
뒤에 아직 6명이 줄을 서 있어요. 창구에서 요금 안내 두 장을 밀어 줘요. 월 129위안 요금제를 59위안으로 바꿔야 하고, 거의 퇴근 시간이에요. 두 장을 찍어 AI에게 보내요. “이 요금제 좀 봐 줘. 약정은 얼마나 되고, 중도 해지하면 얼마고, 나중에 App에서 해지할 수 있어?”
30초도 안 되어 판단 여섯 줄을 돌려줘요. 줄마다 숫자가 있고, 마지막 줄에는 출처처럼 보이는 이름까지 달려 있어요.
답변 요약(수업 예시): 요금제에 데이터 30GB, 약정 24개월, 중도 해지 위약금 200위안; 한도에 닿으면 1Mbps로 속도 제한; 해외 로밍은 따로 신청; 다른 도시에서도 App으로 해지 가능, 근거는 “서비스 약관 제9조.”
계산해 보니 매달 70위안이 줄어요. 중도 해지해서 200위안을 내도 괜찮아요. 더 중요한 건 다른 도시에서도 온라인으로 해지할 수 있다는 점이에요. 5시 47분에 확인을 누르고 새 요금제를 들고 나와요.
석 달 뒤 이사를 가요. 출발하는 날 아침 8시 20분에 App을 열면 해지 메뉴가 없어요. 상담원은 번호 개통지 영업점에 가서 처리해야 한다고 해요. 그 요금 안내 두 장에도 “App 해지”라는 말은 없었어요. 10시 05분 기차표는 이미 샀고, 요금제는 일단 계속 빠져나가요.
그때 믿은 이유는, AI가 흔한 요금제 관행과 눈앞 자료의 숫자, 약관 이름을 한 목록에 나란히 놓았기 때문이에요. 제9조라는 출처까지 붙이니 원문을 이미 대조한 느낌이 나요. 당신은 “좀 봐 줘”라고 물었고, 그것의 일은 매끄러운 답을 만드는 것뿐이었어요. 근거와 모순과 추측을 나누라는 요청은 없었어요.
그때 이어서 세 문장을 붙였다면 — “줄마다 출처를 달아 줘”, “다른 방식으로 다시 물어보고 답해 줘”, “확실한 것과 추측을 나눠 줘” — 목록이 세 층이 돼요.
- 자료 근거가 없는 두 줄을 먼저 빼요. 속도 제한과 해외 로밍은 일단 미확인으로 표시해요.
- 두 번 답이 어긋난 한 줄도 빼요. 약정이 24개월이었다가 12개월이 되거든요.
- 글자에서 밀어낸 한 줄은 따로 둬요. “당월 유효”만으로는 보너스 데이터가 꼭 소멸한다고 말할 수 없어요.
한 문장도 안 붙이면 여섯 줄이 같은 말투로 노트에 들어가요. 세 문장을 붙이면 네 줄이 먼저 확인 대기함에 멈춰요.
결론에는 두 줄이 남아요. “App 해지”에는 약관 이름까지 달려 있어요. 세 겹 방어가 왜 이걸 못 막았을까요? 아래 스위치 세 개를 하나씩 켜 보고, 여섯 줄이 어떻게 움직이는지 봐요.
아래 세 문장은 어떤 답변 뒤에든 통째로 이을 수 있어요. 답이 맞다는 보장은 없어요. 한데 뭉쳐 있던 내용을 층으로 나눠, 먼저 대조할 곳을 보이게 할 뿐이에요.
- 각 판단을 원자료로 되돌리게 하기
방금 답변의 판단을 줄마다 적고, 내가 준 자료의 어느 단락에서 왔는지 표시해 주세요. 대응하는 원문을 인용하세요. 직접 근거가 없으면 “근거 없음”이라고 쓰고, 출처를 지어내지 마세요.
- 다른 방식으로 같은 일을 다시 답하기
방금 결론은 내려놓고, “무엇이 포함되고, 무엇이 제한되고, 나가려면 무엇을 내는지”로 이 자료를 다시 보세요. 새 답을 이전 판과 줄마다 대조하고, 두 번이 어긋난 곳만 적으세요.
- 확인할 수 있는 것과 추측을 나누기
남은 판단을 “자료가 직접 쓴 것”과 “자료에서 추측한 것” 두 칸으로 나누세요. 추측마다 근거와 아직 없는 정보를 적고, 근거가 없는 내용은 확인 대기함에 두세요.
자료가 길면 한 절만 검사해도 돼요. 세 문장은 순서대로 보내요. 이전 문장의 목록이 다음 문장의 입력이 돼요.
첫 문장의 핵심은 대응하는 원문을 인용하는 것이에요. 출처 이름만 쓰라고 하면 “서비스 약관 제9조”처럼 멀쩡해 보이지만 아직 대조 안 한 꼬리표를 줄 수 있어요. 원문도 같이 붙이라고 해야, 그 이름 아래 글이 받쳐 주는지 보여요.
둘째 문장은 답이 안정적으로 재현되는지를 봐요. 두 번이 같아도 같이 틀릴 수 있어요. 두 번이 다르면 일단 멈추라는 신호로는 충분해요. 맨 앞 약정 기간이 이 단계에서 결론 밖으로 나가요.
셋째 문장의 “자료가 직접 쓴 것”은 기준을 글자 증거에 올려 둬요. “당월 유효”는 기한만 말할 수 있어요. 보너스 데이터가 소멸하는지는 분명한 규칙이 없으니 추측 칸에 남겨요.
마지막에 두 줄이 남아요. 30GB 줄은 요금 안내 제3조에서 대응하는 원문을 찾을 수 있으니 일단 써도 돼요. App 해지 줄은 약관 이름은 주지만, 다른 도시에서 처리된다는 원문은 붙이지 않았어요. 약관을 열어서 확인해야 해요.
세 겹 방어는 확인할 범위를 줄여 주고, 원문이 마지막 한 줄의 결론을 내요. 둘 다 경험에서 나온 습관이에요. 지어낸 말 일부는 막지만, 출처처럼 보이는 글은 통과시킬 수도 있어요. 언제 대화를 떠날지는 다음 페이지에서 이어요.
어디 다섯 곳이 가장 잘 지어지는지는 AI에게 가장 잘 지어낼 다섯 종류를 표시하게 하기. 이 세 문의 엔지니어링 판은 검증 스크립트는 개수와 정확성을 같이 봐야 해요. 출처는 파일과 줄 번호로 바뀌어요.