OpenAI는 2026년 10월 20일 API에 선택형 12시간 프롬프트 캐시를 추가했습니다. 공통 지시와 도구 정의, 문맥을 수 시간 뒤 요청에서도 재사용해 낮은 캐시 입력 요금을 활용할 수 있습니다.
영구 기억과는 다르다
입력 재사용과 비용에 관한 기능이며 모델이 새 정보를 영원히 기억한다는 뜻은 아닙니다. 지원 모델과 일치 조건을 충족해야 하며 나중에 이전 자료를 쓰라고 말한 것만으로 캐시 적중을 확인할 수는 없습니다.
쓰기 요금도 포함하기
12시간 캐시 쓰기는 일반 입력 토큰 단가의 2.5배입니다. 큰 배경 자료를 한 번만 쓰면 비용상 불리할 수 있고 여러 번 재사용하면 가치가 있을 수 있습니다. 모델별 실제 요금과 적중 정보, 재사용 횟수로 계산해야 합니다.
검증 가능한 비교
고정 지시와 문서를 쓰는 작업을 골라 일반 입력과 캐시 쓰기·읽기, 출력까지 총액을 비교하세요. 자주 바뀌는 작업 세부사항과 안정된 배경을 구분하면 미적중 원인도 확인하기 쉽습니다. 측정 전에 고정 절감률을 약속해서는 안 됩니다.
