MONDAY BRIEFING
AI가 쓴 문서, 근거까지 검토하기
Google Deep Review로 본 문서 생성 이후의 검토 병목과 근거 중심 검증
보고서는 5분 만에 썼는데, 검토하다 퇴근 시간이 됐습니다.
10월 14일 Google Research가 공개한 Deep Review는 바로 이 문제를 겨냥합니다. 문장을 매끈하게 고치는 교정 도구가 아니라, 복잡한 문서의 논리와 근거를 검토하는 에이전트 시스템입니다. 🔎
출발점은 논문이었습니다. 전신인 Paper Assistant Tool(PAT)은 학회 제출 전 원고를 점검하는 용도로 쓰였습니다. Google에 따르면 자발적으로 참여한 원고 1만 6천 건 이상에 피드백을 제공했습니다. 다만 학회의 공식 심사를 대신한 것은 아닙니다.
여기서 재미있는 건 ‘다시 읽는 방법’입니다.
긴 문서를 통째로 넣고 “오류 찾아줘” 한 번으로 끝내지 않습니다. 문서를 구간별로 나누고, 어려운 부분에는 계산 자원을 더 배정합니다. 여러 에이전트가 전체 문맥을 참고하면서 맡은 구간을 검토하고, 마지막에 결과를 합쳐 구간 사이의 모순과 외부 근거를 확인합니다.
한 사람에게 책 한 권을 빨리 훑게 하는 것보다, 검토할 부분을 나눠 맡긴 뒤 서로의 지적이 맞물리는지 확인하는 방식에 가깝죠.
그럼 AI가 AI를 검사하면 믿어도 될까요? 👀
PAT 연구는 특정 수학 오류 탐지 벤치마크에서 단일 요청 방식보다 재현율이 개선됐다고 보고합니다. 하지만 이것을 “우리 회사 보고서의 오류도 그만큼 줄어든다”로 옮겨 읽으면 안 됩니다. 연구 대상과 실제 업무 문서는 다르니까요.
실무에 대입하면 이런 장면이 떠오릅니다. 아래는 발표 내용을 바탕으로 생각해본 가상의 예시입니다.
제안서 앞부분에는 ‘신규 고객 확보’가 목표라고 쓰여 있는데, 성과표는 기존 고객의 재구매만 보여줍니다. 숫자도 맞고 문장도 자연스럽지만, 목표를 달성했다는 결론의 근거는 부족합니다.
이때 필요한 건 “더 설득력 있게 써줘”가 아닙니다.
“이 결론을 뒷받침하는 표와 문장을 짚어줘. 자료로 확인되지 않는 부분은 따로 표시해줘.”
잘 쓴 문장을 더 그럴듯하게 만드는 것과, 그 문장을 믿어도 되는지 따지는 것은 다른 업무입니다.
Deep Review는 발표일 기준 PDF와 일반 텍스트를 지원하며, 여러 파일을 함께 검토하는 기능은 향후 제공 예정입니다. 또 Google은 업로드 문서를 모델 학습에 쓰지 않지만 화면 표시를 위해 1년간 보관한다고 안내합니다. 업무 문서를 넣기 전에는 사내 반출 기준과 보관 정책도 확인해야겠습니다.
AI가 검토 의견을 냈다고 끝난 것도 아닙니다. 지적한 오류가 정말 오류인지, 제시한 근거가 결론을 지지하는지는 사람이 다시 판단해야 합니다.