전체 글 (88) 썸네일형 리스트형 자연어 질의 생성의 토큰 줄이기: 예시는 넓게, 스키마는 좁게 자연어를 내부 검색 질의로 바꾸는 기능에서는 관련 예시와 필요한 스키마를 따로 골라 입력 토큰을 줄일 수 있다. 예시는 여러 후보를 찾은 뒤 다시 정렬하고, 데이터 구조는 해당 요청에 필요한 정의만 상세하게 넘기는 방식이다.AWS가 공개한 Orca의 Discovery AI 사례가 이 구분을 보여 준다. Orca의 보안 검색 시스템 Sonar는 900개가 넘는 데이터 모델을 다룬다. 여기서 모델은 LLM이 아니라 클라우드 자원이나 애플리케이션 같은 객체 유형이다. 같은 검색창이라도 사용자의 질문에 따라 필요한 정의는 달라진다.검색 후보와 생성 입력을 같은 크기로 잡지 않는다이 시스템이 찾아오는 것은 일반 설명 문서만이 아니다. 자연어 질문을 실제 Sonar 필터로 변환했던 검증된 질의 예시다. 비슷한 질문.. AI 코드 평가가 만점인데 빌드에 실패했다면, 채점 기준을 의심하자 AI가 만든 코드가 평가에서는 만점인데 빌드에 실패했다면, 모델을 바꾸기 전에 채점 기준을 살펴볼 필요가 있다. 코드가 요구한 기능을 구현했는지와 실제로 실행되는지는 다른 검증이다. 점수 하나로 합치기 전에, 잘못된 결과를 평가가 제대로 걸러내는지 확인해야 한다.Microsoft는 AX Practitioner Playbook을 소개한 글에서 컴파일되지 않은 코드에도 만점을 준 평가를 관찰했다고 밝혔다. 특정 플랫폼을 사용했는지 묻는 항목이 실제 사용 여부와 무관하게 통과한 경우도 있었다. 평가를 많이 돌리는 것만으로는 이런 잘못된 기준이 드러나지 않을 수 있다.‘사용했다’는 채점 항목이 너무 넓을 때예를 들어 개발용 라이브러리인 SDK를 지정하고 코드를 생성하게 했다고 하자. 평가 항목을 ‘대상 SDK를.. 남는 AI 추론 자원, 기본 응답을 늦추지 않고 활용하는 법 남는 AI 추론 자원을 쓰려면 기본 응답에 필요한 용량과 추가로 할 일을 나눠야 한다. 여유가 있을 때만 더 많은 후보를 평가하거나 무거운 모델을 쓰고, 그 용량이 회수되면 추가 연산부터 줄이는 구조다. 서버를 더 바쁘게 만드는 것보다 줄일 수 있는 작업을 고르는 일이 먼저다.Meta는 광고 추천 시스템에서 이 방식을 운영하고 있다. 팀·지역·가속기 종류별로 흩어진 여유 용량을 모아 활용하되, 기본 서비스의 지연과 안정성을 지키도록 설계했다. Meta가 공개한 자원 배분 사례에서 눈여겨볼 부분은 추가 작업의 종류와, 그 작업을 포기하는 경로다.남는 자원의 조합이 추가 작업을 결정한다추천 시스템은 여러 후보를 단계적으로 평가해 최종 결과를 고른다. 같은 요청에 연산을 더 쓸 수 있어도, 후보를 넓게 볼지 .. Docker Hub 조직 전환 취약점: PAT 소유자 변경과 비밀값 폐기는 다르다 Docker Hub 계정을 조직으로 전환했다면, 토큰의 소유자 정보와 실제 비밀값이 함께 정리됐는지 봐야 한다. Docker가 공개한 이번 취약점은 소유자만 바뀐 개인 토큰이 그대로 살아 있어, 기존 비밀값으로 다른 사용자의 레지스트리 권한을 행사할 수 있었던 문제다.Docker의 보안 공지는 이를 CVE-2026-105445로 설명한다. 여기서는 공격 재현보다 영향 범위와 자동화 인증을 읽는 방법에 집중한다.소유자를 바꿔도 기존 열쇠는 사라지지 않았다개인 접근 토큰인 PAT는 비밀번호 대신 API나 레지스트리 인증에 사용하는 비밀값이다. 관리 화면에는 이름과 생성일, 소유자 같은 정보가 있지만, 요청을 인증하는 데 쓰이는 것은 토큰의 비밀값이다.Docker가 설명한 결함에서는 계정의 조직 전환 과정이 .. AI 에이전트 결제 한도: 건당 승인과 세션 예산을 나누는 이유 AI 에이전트가 유료 API를 반복 호출한다면, 한 번의 결제액과 작업 전체의 예산을 따로 제한해야 한다. 호출 가격이 작아도 재시도와 반복이 쌓이면 지출은 커진다. 요청별 승인 한도와 만료 시간이 있는 세션 예산을 두면, 모델의 판단과 별개로 돈이 나가는 경계를 만들 수 있다.호출 가격은 작아도 예산은 누적된다외부 모델이나 도구를 쓸 때마다 구매가 일어나는 구조에서는 비용 관리가 작업 흐름 안으로 들어온다. 답변을 만들기 위해 호출한 도구가 다시 다른 유료 서비스를 요청할 수 있기 때문이다. 각 요청의 가격을 아는 것과 작업이 끝날 때까지 얼마나 쓸지 아는 것은 다른 문제다.AWS가 소개한 Incarna와 BlockRun의 결제 사례는 이 차이를 결제 세션으로 다룬다. 세션에는 지출 상한과 만료 시간이.. JetBrains Copilot 업데이트: IDE 지원 버전과 오류 수정 모드가 달라졌다 JetBrains IDE에서 Copilot을 업데이트할 때는 플러그인 버전만 확인하면 부족하다. 사용 중인 IDE가 지원 범위에 들어가는지 먼저 보고, 오류 옆의 Fix가 코드를 수정하는 모드로 열리는지 답변을 제안하는 모드로 열리는지 구분해야 한다.GitHub의 10월 10일 변경 안내에는 IDE 지원 종료와 진단 메시지에서 수정으로 넘어가는 동작이 함께 나온다. 같은 업데이트 안에서도 호환성 변경은 도입 여부를 결정하고, 수정 모드 변경은 작업 결과를 읽는 방법을 바꾼다.IDE 2025.1을 쓰고 있다면 호환성부터GitHub가 명시한 지원 범위에서 JetBrains IDE 2025.1 지원은 종료됐다. 플러그인을 사용하려면 IDE 2025.2 이상이 필요하다는 안내다. 이번 변경을 적용하려는 사용자는.. 검색 인덱스 용량 줄이기: EmbeddingGemma 2의 벡터 차원 선택 검색 인덱스가 커질 때는 임베딩 모델의 크기와 저장하는 벡터의 차원을 따로 봐야 한다. EmbeddingGemma 2는 필요한 입력 인코더만 불러오고 벡터 차원도 줄일 수 있어, 모델 실행 메모리와 검색 데이터 용량을 각각 조정할 수 있다.벡터는 문서의 의미를 숫자 배열로 표현한 값이다. 문서 조각마다 이 값을 저장해 두면 질문과 가까운 내용을 찾을 수 있다. 조각이 수백만 개로 늘어나면 배열 하나의 길이도 전체 저장량에 영향을 준다.백만 개의 벡터에서 먼저 계산할 것Google의 개발자 가이드는 기본 출력이 768차원이며 더 짧은 벡터를 사용할 수 있다고 설명한다. 숫자 하나를 2바이트로 저장한다고 가정하면, 백만 개 벡터의 순수 배열 용량은 다음처럼 계산된다. 아래는 실행 측정이 아닌 산술 예시다.7.. 문의 분류에 긴 답변이 필요할까? LiquidAI d1 결정 모델의 접근 문의의 담당 팀이나 긴급도만 정하면 되는 기능이라면, 매번 긴 답변을 생성할 필요는 없다. 정해진 선택지와 점수를 반환하는 결정 모델을 그 구간에 두고, 고객에게 보낼 설명은 생성형 모델에 맡기는 구성을 검토할 수 있다.LiquidAI가 공개한 d1은 이 구분을 모델의 동작으로 옮겼다. 문장을 토큰 단위로 이어 쓰는 대신 한 번의 추론으로 질문에 답한다. 관심을 가질 지점은 “작은 챗봇”이 아니라, 서비스가 소비할 판단 결과를 어떻게 받느냐다.같은 문의를 읽고, 서로 다른 판단을 돌려준다고객 문의에서 담당 팀과 긴급도를 정한다고 해 보자. 이것은 설명을 위한 가상 업무다. 고객에게 정중한 답변을 쓰는 일과 담당 팀 이름을 고르는 일은 결과물부터 다르다. 후자는 애플리케이션이 바로 분기할 수 있는 값이 필.. 이전 1 2 3 4 ··· 11 다음
