AI 답을 먼저 세 번 검사하기

인용 이름을 아무리 빠짐없이 적어도, 열리지 않는 링크일 수 있어요. 출처가 하나뿐이면, 아무리 단정적으로 말해도 교차 검증은 아직 안 된 거예요.

월요일 아침 회의 전에, 새 정책이 팀에 영향을 줄지 AI에게 물어봐요. 분명한 결론에다 “업계 협회 보고서”, “연구기관 브리핑”, 링크 세 개까지 붙여 줘요. 페이지 배치는 이미 자료를 다 찾아 둔 메모처럼 보여요.

하나씩 열 시간이 없어서, 결론을 보고에 그대로 붙여 넣어요. 매니저가 근거를 묻자 첫 링크는 404, 둘째는 사이트 홈으로 돌아가고, 셋째는 열리긴 하는데 내용이 같은 협회 보고서예요. 링크는 세 개인데, 증거는 하나예요.

이번 낭패의 핵심은 아주 구체적이에요. AI가 답을 쓰는 사람과 검증하는 사람을 동시에 맡은 거예요. 방금 쓴 글을 증거처럼 다듬을 수는 있어도, 같은 설명을 반복한다고 외부 검증이 되지는 않아요. 검증에는 서로 다른 일 세 가지를 맡겨야 해요.

Alice

온라인

AI가 보고에 넣으려는 결론을 방금 줬어요. “새 정책 때문에 중소 규모 팀의 신청 비용이 30% 내려가요.” 어떤 검증 지시를 먼저 보낼까요?

결론마다 출처를 달고, 뒷받침하는 원문 문장과 링크를 붙여 주세요. 다른 각도로 이 결론을 다시 점검하고, 두 답이 어긋난 곳을 적어 주세요. 방금 답에 문제가 없는지 확인하고, 이 결론을 믿어도 되는 이유를 설명해 주세요.

Alice에게 보내기

세 관문이 막는 문제는 각각 달라요:
출처 요구: 결론마다 열 수 있는 원문을 가리키게 해서, 없는 내용을 채워 넣은 것을 막아요.
교차 검증: 독립된 출처를 서로 맞춰 보게 해서, 증거 하나에서 오는 편향을 막아요.
불확실 표시: 확인된 것, 추론, 빠진 정보를 나눠서, 모르는 걸 단정으로 쓰는 일을 막아요.

이제 검증을 한 세트로 해 볼게요. 아래에서 동작 3~5개를 고르면, 이 검사가 어디까지 버틸 수 있는지 알려 드릴게요.

항목마다 원문을 인용하고, 없으면 “찾지 못함”이라고 쓰기 링크를 하나씩 열어 페이지 제목과 원문 문장 맞추기 다른 독립 기관 자료로 교차 확인하기 출처 간 충돌을 따로 적어 두기 확인된 것, 추론, 아직 없는 정보를 표시하기 AI에게 자기 답의 신뢰도를 점수 매기게 하기 같은 AI에게 연속으로 두 번 답하게 하고 일치하는지 보기 AI에게 결론을 더 단정적이고 전문적으로 다시 쓰게 하기

검사 동작 제출 0개 선택됨, 최소 3개가 더 필요해요

근거

다른 동작으로 다시 해 보기

검증 결과를 “믿을 만함” 또는 “못 믿음”만 쓰지 마세요. 실제로 움직일 수 있는 결과에는 적어도 네 덩어리가 같이 남아야 해요. 판단, 근거, 다음 단계, 더 물어볼 것. 나중에 이어받는 사람이 뭘 써도 되고, 뭐가 단서뿐인지 알게 돼요.

세 관문을 다 통과해도, 가장 중요한 원문은 직접 여세요. 교차 검증은 틀린 범위를 줄여 줄 뿐, 웹페이지에 뭐가 적혀 있는지는 대신 확인해 주지 않아요. 모델은 아직 봐야 할 범위를 줄이고, 핵심 증거가 원문에 닿게 하는 건 사람 몫이에요.