대표 이미지: OpenAI를 사용해 만든 AI 일러스트입니다.
AI 서비스에서 비슷한 지시문이나 참고 자료를 반복해서 보낼 때는 처리 시간과 입력 비용을 함께 살펴볼 필요가 있습니다. OpenAI API의 프롬프트 캐싱은 요청 앞부분의 변하지 않는 내용을 다시 활용할 수 있도록 설계된 기능입니다.
어떤 경우에 도움이 될까?
여러 요청에 공통 지시문이나 참고 자료가 들어가는 작업이 대표적인 후보입니다. 공통 부분을 앞쪽에 두고 요청마다 달라지는 내용을 뒤에 배치하는 방식을 검토할 수 있습니다. 캐시 적중 여부는 실제 사용량 데이터로 확인해야 합니다.
주의할 점
지원 여부, 최소 길이, 보관 기간과 요금은 모델과 설정에 따라 달라질 수 있습니다. 같은 대화를 이어간다고 항상 캐시가 적중하는 것은 아니며, 캐시 사용이 동일한 응답을 보장하지도 않습니다. 사용 전 최신 공식 문서와 요금표를 확인하세요.
