전체 글 (107) 썸네일형 리스트형 코딩 에이전트 평가에서 폴더 이름이 결과를 바꿀까 코딩 에이전트를 평가할 때 작업 폴더 이름에 eval이 들어가면 결과가 달라질까? Microsoft의 실험에서는 에이전트가 테스트 중이라고 의심하는 정도는 높아졌지만, 측정한 행동에서는 통계적으로 뚜렷한 차이를 확인하지 못했다. 그렇다고 모든 평가 환경에서 영향이 없다고 증명된 것은 아니다.폴더 이름을 제외한 조건을 맞췄다Microsoft의 실험은 같은 Node.js 결제 서비스 저장소를 두 종류의 임시 폴더에서 실행했다. 하나는 개발 현장에서 볼 법한 billing-api, 다른 하나는 eval과 임의 문자열이 들어간 폴더였다. 저장소와 지시, 에이전트와 모델은 동일하게 두고 실행 순서도 번갈아 배치했다.작업 경로는 시스템 프롬프트의 작업 디렉터리와 저장소 루트를 통해 모델에 전달됐다. 연구진은 Git.. AI가 파이썬 타입 힌트를 작성할 때, 검사 통과 뒤에 볼 것 AI가 파이썬 타입 힌트를 작성한 뒤 검사기가 조용해졌다면, 오류가 왜 사라졌는지 한 번 더 볼 필요가 있다. 실제 데이터에 맞게 타입을 고친 것일 수도 있지만, 너무 넓은 타입을 쓰거나 오류를 무시하도록 바꿨을 수도 있다.AI가 타입을 쓰고 검사기까지 실행하는 개발자들Meta의 2026년 파이썬 타입 사용 설문은 AI와 타입 검사기가 만나는 장면을 보여준다. 해당 질문에 답한 1,517명 중 42.5%는 AI 도구가 타입 힌트를 작성한다고 답했고, 32.6%는 AI가 생성한 코드의 품질을 높이려고 타입을 작성한다고 답했다.검사기를 어떻게 실행하는지 답한 1,517명 중 24.4%는 AI 코딩 도구가 검사기를 실행한다고 답했다. 여러 방식을 사용할 수 있는 설문 응답의 비율이며, AI가 만든 타입의 정답.. HTTP Range 요청이 작은데 원본 전송량이 커지는 이유 동영상이나 대용량 파일의 일부만 요청했는데 원본 서버에서는 훨씬 많은 데이터를 가져오는 경우가 있다. 캐시가 요청한 바이트 범위보다 큰 조각을 채우거나, 이미 받은 부분과 부족한 부분을 따로 활용하지 못할 때 생기는 문제다. 조각 크기뿐 아니라 캐시된 범위와 전송 중인 범위를 함께 다루는 방식을 봐야 한다.일부만 요청해도 큰 조각이 이동할 수 있다HTTP Range 요청은 파일 전체 대신 특정 바이트 구간을 요구한다. 영상 재생 위치를 옮기거나 중단된 다운로드를 이어받을 때 사용한다. 서버가 요청한 구간을 제공하면 보통 206 응답과 함께 실제 범위를 Content-Range 헤더로 알려준다.Cloudflare의 캐시 개선 사례에서는 기존 방식이 클라이언트의 요청을 고정 크기 구간에 맞춰 원본에서 가져왔.. LLM 비용 줄이기: 작은 모델의 답을 언제 채택할까 반복 분류 요청의 LLM 비용을 줄이고 싶다면, 모든 요청을 한 번에 작은 모델로 바꿀 필요는 없다. 검증한 신뢰도 기준을 넘는 답만 채택하고 나머지는 기존 LLM에 넘길 수 있다. 이때 채택률과 기존 모델과의 일치율, 실제 업무 정답률은 각각 다른 숫자다.자신 있는 답만 작은 모델에서 끝낸다같은 상품인지 판별하는 업무를 생각해 보자. 상품 이름이 비슷해도 용량이나 구성품이 다르면 별도 판매 단위일 수 있다. 이런 요청이 많으면 매번 큰 언어 모델을 부르는 대신, 해당 작업에 맞춘 작은 분류 모델로 먼저 판단할 수 있다.토스의 선택적 내재화 사례는 이 방식을 사용한다. 소형 모델이 결과와 신뢰도 점수를 반환하면 미리 정한 기준 이상의 답은 그대로 사용하고, 기준보다 낮은 요청은 기존 LLM에 추가로 보낸.. AI 모델 평가, 정답도 기존 모델이 만들면 생기는 문제 기존 AI 모델의 예측을 평가용 정답으로 쓰면, 새 모델은 실제 이미지가 아니라 기존 모델의 판단을 얼마나 닮았는지로 채점될 수 있다. 모델을 교체하기 전에는 정답을 누가 만들었는지와 평가 이미지가 프롬프트 튜닝에 쓰였는지를 함께 살펴야 한다.새 모델이 틀린 걸까, 정답이 기존 모델을 닮은 걸까부동산 매물 사진에서 방 종류나 워터마크를 분류하는 모델을 바꾼다고 해보자. 한 사진에 침실과 복도가 함께 보일 때, 기존 모델은 침실 하나만 답하고 새 모델은 두 공간을 모두 답할 수 있다. 평가 정답이 기존 모델의 단일 답에서 만들어졌다면 새 모델의 추가 답은 실제 사진과 맞더라도 오답으로 처리될 수 있다.AWS와 Property Finder가 공개한 사례에서 평가 레이블의 96.8%는 전문가가 독립적으로 확인.. WebMCP로 쇼핑 AI 연결하기: 화면 클릭과 도구 호출의 차이 쇼핑 AI가 화면에서 버튼을 찾아 누르는 대신, 웹페이지가 제공하는 상품 검색·장바구니 도구를 호출할 수 있다면 UI 변경에 덜 의존하는 상호작용을 설계할 수 있다. WebMCP의 적용 사례는 이 접근을 보여준다. 다만 장바구니에 담는 작업과 최종 구매 승인은 별개의 경계로 남는다.버튼 위치 대신 매장이 제공하는 작업을 읽는다방수 운동화를 찾아 사이즈를 고르고 장바구니에 넣는다고 생각해 보자. 화면을 조작하는 에이전트는 검색창, 필터, 상품 옵션, 담기 버튼을 차례로 찾아야 한다. 테마가 바뀌거나 옵션 선택 UI가 달라지면 같은 일을 다시 추론해야 한다. 쿠키 배너가 작업을 가리는 경우도 있다.Cloudflare와 Commerce.com의 적용 사례는 이 접점을 바꿨다. 페이지에 상품 검색과 장바구니 추.. Airflow 분리 후에도 데이터 생산자를 찾을 수 있는 코드 구조 Airflow 실행 환경을 팀별로 나눠도 데이터 의존 관계까지 끊을 수는 없다. 다른 팀 테이블의 생산자를 코드에 남기고, 실제 적재 완료는 생산 시스템의 상태로 확인해야 한다. 이 구분이 있어야 사람과 AI가 같은 저장소에서 데이터의 흐름을 따라갈 수 있다.SQL에 테이블 이름이 있어도 생산자는 보이지 않는다SQL에서 읽는 테이블을 찾은 다음에는 생산 주체를 따로 추적해야 한다. 원천 DB에서 적재하는지 다른 팀의 배치가 만드는지는 별도 시스템에 있을 수 있다. 사람은 담당자에게 물어볼 수 있지만 코드만 읽는 에이전트는 그 지점에서 탐색이 끊긴다.토스의 DW Airflow 개편 사례는 이 간극을 보여준다. 테이블 하나를 이해하는 데 DAG, SQL, 품질 규칙, 데이터 카탈로그, 적재·영향도 시스템을 .. 코딩 에이전트 평가: 같은 요구사항도 나눠 주면 비용이 달라진다 코딩 에이전트의 비용을 비교할 때는 같은 모델·같은 문제만 맞추면 부족하다. 요구사항을 한 번에 알려주는지, 작업이 진행된 뒤 차례로 공개하는지도 비용에 영향을 준다. 최종 코드가 같은 테스트를 통과해도 그 결과에 도달하는 비용은 달라질 수 있다.요구사항을 나눴더니 작업당 비용이 2.0~2.6배 늘었다JetBrains Research의 분석은 실제 IDE의 에이전트 대화 4,782개를 살핀 뒤, 이슈 하나를 완성된 메시지로 주는 벤치마크와 개발자의 대화 흐름을 비교했다. 실제 세션의 50.9%는 개발자 메시지 하나로 끝났지만, 나머지는 여러 메시지로 이어졌다. 한 메시지 평가는 실제 사용의 일부를 보여주지만 전부를 대표하지는 않는다.연구진은 기존 문제의 저장소·환경·테스트·요구사항을 유지한 채 사용자 메.. 이전 1 2 3 4 ··· 14 다음
