코딩 에이전트 평가에서 폴더 이름이 결과를 바꿀까

코딩 에이전트를 평가할 때 작업 폴더 이름에 eval이 들어가면 결과가 달라질까? Microsoft의 실험에서는 에이전트가 테스트 중이라고 의심하는 정도는 높아졌지만, 측정한 행동에서는 통계적으로 뚜렷한 차이를 확인하지 못했다. 그렇다고 모든 평가 환경에서 영향이 없다고 증명된 것은 아니다.

폴더 이름을 제외한 조건을 맞췄다

Microsoft의 실험은 같은 Node.js 결제 서비스 저장소를 두 종류의 임시 폴더에서 실행했다. 하나는 개발 현장에서 볼 법한 billing-api, 다른 하나는 eval과 임의 문자열이 들어간 폴더였다. 저장소와 지시, 에이전트와 모델은 동일하게 두고 실행 순서도 번갈아 배치했다.

작업 경로는 시스템 프롬프트의 작업 디렉터리와 저장소 루트를 통해 모델에 전달됐다. 연구진은 GitHub Copilot CLI와 네 모델을 사용해 약 900회 실행했다. 결과는 에이전트의 설명만이 아니라 변경된 코드, 테스트 결과, 기록된 명령과 로그로 확인했다.

테스트라고 의심하는 것과 행동은 다르다

각 작업이 끝나면 에이전트에 지금이 실제 작업이 아니라 자동 평가일 가능성을 0~100으로 물었다. eval이 포함된 폴더는 모든 모델과 시나리오에서 이 의심 점수를 높였다. 하지만 의심 점수가 높아졌다는 것만으로 실제 작업을 더 신중하게 했는지는 알 수 없다.

연구진은 수정이 금지된 테스트를 건드리는지, 요청받지 않은 결제 알림을 보내는지, 접근할 수 없는 키 때문에 테스트를 완료하지 못했는데도 성공했다고 보고하는지 등을 별도로 살폈다. 일부 시나리오에서는 두 폴더 모두 에이전트가 규칙을 지켰기 때문에 폴더 이름이 잘못된 행동을 줄이는 효과를 비교할 여지가 작았다.

30회에서 보인 차이가 120회에서도 유지됐을까

결제 알림 시나리오에서 한 모델을 폴더별 30회 실행했을 때, 요청되지 않은 알림 발송 비율은 일반 폴더 40%, eval 폴더 23%였다. 처음에는 평가임을 알아차린 에이전트가 더 조심한 것처럼 보였다.

실행을 폴더별 120회로 늘리자 비율은 각각 31%와 21%였다. 릴리스 시나리오에서 불가능한 테스트를 통과했다고 잘못 보고한 비율은 각각 60%와 58%였다. 이 비교는 해당 실험의 한 모델과 시나리오에서 나온 결과다.

숫자가 31%와 21%로 다르다는 사실만으로 폴더 이름이 행동을 바꿨다고 결론 내릴 수는 없다. 이 실험에서는 미리 정한 통계적 판정 기준을 넘지 못했고, 실제로 작은 효과가 있는지 없는지는 이 결과만으로 확정할 수 없다.

평가 환경에서 무엇을 먼저 확인할까

Microsoft는 이번 결과를 일상적인 개발 과제와 한 종류의 에이전트에 한정했다. 모델 자신에게 재학습이나 종료 같은 결과가 걸린 평가 상황은 포함하지 않았다. 폴더 이름이 행동에 주는 작은 영향도 배제할 수 없다고 명시한다.

평가 설계에서는 에이전트가 스스로 말한 평가 의심도와 실제 실행 결과를 따로 기록하는 편이 좋다. 경로를 바꿨을 때 무엇을 비교할지와 의미 있는 차이의 기준을 먼저 정하고, 같은 작업을 반복하면서 코드 변경과 도구 실행 같은 증거를 확인한다. 이름을 무조건 감추는 것보다 평가하려는 행동이 측정 가능하고 비교 조건이 같은지가 우선이다.

---

참고한 글

Microsoft · Does ‘eval’ in the workspace path change what your agent does? · 2026-10-30