AI에게 추론 과정을 돌려받기

친구가 재계약 첨부 조항을 테이블에 펼치고, 그 한 줄에 손가락을 멈춘 채, 그때 왜 받아들였냐고 물어요.

3주 전 집을 구할 때, 계약을 AI에게 붙여 넣었어요. 보증금은 3,500위안이고, 원문은 아주 단호했어요.

중도 해지하면 보증금은 돌려주지 않는다.

AI는 “30일 전 서면 통지면 보증금을 돌려준다”로 고치자고 했어요. 집주인이 받아들였고, 당신은 그날 서명했죠. 지금은 30일 전이라는 결론은 기억나지만, 그때 어떤 조건을 봤는지, 왜 30일이 맞는지는 말하지 못해요.

친구가 더 아래를 가리켜요. 첨부에 “실내 수리비는 임차인 부담”이 하나 더 생겼어요. 글자는 다 읽히지만, 자연 노후가 포함인지, 금액 상한이 있는지는 판단이 안 돼요. 지난번 답은 휴대폰에 그대로 있어요. 십여 분을 뒤져도 가져올 수 있는 건 그 수정 문장뿐이에요.

집주인은 계약을 그날 저녁까지만 남겨 둬서, 당신은 다시 AI를 열고 새 조항을 처음부터 물어요. 일은 또 끝낼 수 있어요. 다만 그 빈칸이 이미 드러났죠. 지난번에 나는 대체 뭘 배운 거지?

이번 주 양쪽 모두 계약에 서명했어요. 왼쪽은 만들어진 결론을 따라 고치고, 오른쪽은 세 줄을 쓴 뒤 AI가 세 번째 줄이 어디서 틀렸는지 짚게 했어요. 그날 결과는 같아서, 결론만 받는 쪽이 더 효율적으로 보여요.

진짜 차이는 다음에 숨어요. 새 조항이 글자 몇 개만 바뀌면, 왼쪽은 또 “서명해도 되나”부터 물어요. 오른쪽은 이미 무엇이 발동하는지, 얼마나 배상하는지, 상한이 있는지를 먼저 봐요. 이 세 질문은 지난번에 직접 걸어 본 추론에서 나온 거예요.

AI가 준 수정 문장은 바로 쓸 수 있어요. 다만 그게 자동으로 당신의 판단력이 되지는 않아요. 결론은 빌려도 됩니다. 추론 과정까지 빌려 가면, 다음에도 또 빌려야 해요.

먼저 스스로 답을 내고, AI가 대조하게 하세요. 거칠어도 됩니다. 세 줄이면 충분해요. 시연의 세 번째 줄은 틀려요. 바로 그걸 썼기 때문에 AI가 짚을 수 있죠. “만기 때 보증금 반환”을 “중도 해지해도 반드시 돌려준다”로 잘못 밀고 갔다고요.

이 질문을 자기 일에 그대로 바꿔 쓸 수 있어요.

제가 판단 세 줄을 먼저 쓸게요. 줄마다 봐 주세요. 어느 줄이 근거 없는 전제를 썼는지, 어느 단계에서 조건을 빠뜨렸는지. 먼저 어긋난 곳만 짚고, 결론은 아직 대신 고쳐 쓰지 마세요.

이 세 줄은 AI에게 대조할 추론을 주고, 당신에게는 고칠 수 있는 흔적을 남겨요. 먼저 조금 만들어 보고 답을 보는 일, 그걸 생성 효과(generation effect)라고 해요. AI에게 내가 어느 단계에서 틀렸는지 찾아달라고 하기에서 다뤘어요. 여기선 쓸 수 있는 동작으로만 두고, 연구 결론은 다시 펼치지 않아요.

대화를 끄고, 비슷한 조항을 하나 더 보세요. 점검할 조건을 말하고, 이유 있는 판단을 먼저 낼 수 있으면, 이번엔 능력이 남은 거예요. AI가 준 수정 문장만 되풀이하고, 조건이 바뀌면 다시 물어야 한다면, 이번엔 일만 끝낸 거예요.

지금 AI가 없어도, 내가 이 일을 할 수 있을까? 되면 배운 겁니다. 안 되면, 일 하나를 끝낸 거예요.

저장과 배움 사이에도 이 층이 있어요. 저장이 곧 배움을 보세요.