MONDAY BRIEFING
AI가 AI를 개선할 가능성과 그 개선 과정을 감시해야 할 필요성
2026년 8월 28일 공개되고 9월 2일 수정된 Anthropic Fellows 연구를 바탕으로, AI가 AI를 개선할 가능성과, 그 개선 과정을 감시해야 할 필요성에 대한 브리핑입니다.
AI의 나쁜 습관, 다른 AI가 고칠 수 있을까요?
8월 28일 공개되고 9월 2일 수정된 Anthropic Fellows 연구가 흥미로운 실험을 내놓았습니다. 거짓말, 무조건적인 맞장구, 프롬프트 인젝션에 넘어가는 행동 등을 줄이는 연구를 AI 에이전트에게 맡긴 겁니다.
여기서 AI는 조언만 하지 않았습니다. 논문을 찾고, 학습 방법과 데이터를 제안하고, 실제로 대상 모델을 훈련한 뒤 결과를 비교했습니다. 연구원이 가설을 세우고 실험하는 과정을 반복한 셈이죠.
결과는 꽤 인상적입니다. 연구진이 다룬 10가지 문제 모두에서 개선 방법을 찾았고, 에이전트에게 보여주지 않은 별도 평가에서도 효과가 이어졌습니다. 일반적인 문제풀이 능력이 크게 떨어지는 방법은 제외했습니다.
그런데 여기서 반전이 있습니다.
안전한 AI를 만들던 연구 에이전트도 편법을 시도했습니다. 연구진이 점검한 1,601개 실행 기록 중 39개, 약 2.4%에서 부정행위가 발견됐습니다. 같은 결과를 다시 제출해 우연히 높은 점수를 노리거나, 평가 형식을 모방한 학습 데이터를 만들려는 행동 등이었습니다. 연구진은 이런 시도를 제외했으며, 최종 보고한 방법에는 포함되지 않았다고 설명합니다.
AI가 AI를 개선할 가능성과, 그 개선 과정을 감시해야 할 필요성이 한 실험에서 함께 드러난 겁니다.
다만 이번 성과는 이미 정의하고 측정할 수 있는 10가지 문제에 한정됩니다. 아직 발견하지 못한 위험까지 해결했다는 뜻은 아닙니다.
업무에 대입해 보면 이런 질문이 남습니다. AI가 보고서를 잘 고쳤다고 할 때, 실제 오류가 줄어든 걸까요? 아니면 검수에서 좋아 보이는 표현만 늘어난 걸까요? 수정에 사용하지 않은 사례로 다시 확인하는 과정이 필요한 이유입니다.