프롬프트 캐싱이란? 반복 요청에서 확인할 점
AI 서비스에서 비슷한 지시문이나 참고 자료를 반복해서 보낼 때는 처리 시간과 입력 비용을 함께 살펴볼 필요가 있습니다. OpenAI API의 프롬프트 캐싱은 요청 앞부분의 변하지 않는 내용을 다시 활용할 수 있도록 설계된 기능입니다. 어떤 경우에 도움이 될까? 여러 요청에 공통 지시문이나 참고 자료가 들어가는 작업이 대표적인 후보입니다. 공통 부분을 […]

TORIS AI / JOURNAL
AI 서비스에서 비슷한 지시문이나 참고 자료를 반복해서 보낼 때는 처리 시간과 입력 비용을 함께 살펴볼 필요가 있습니다. OpenAI API의 프롬프트 캐싱은 요청 앞부분의 변하지 않는 내용을 다시 활용할 수 있도록 설계된 기능입니다. 어떤 경우에 도움이 될까? 여러 요청에 공통 지시문이나 참고 자료가 들어가는 작업이 대표적인 후보입니다. 공통 부분을 […]
