TORIS AI / JOURNAL

[카테고리:] AI 활용

기술을 읽고, 가능성을 살펴봅니다.

글 목록

최신순

프롬프트 캐싱이란? 반복 요청에서 확인할 점

AI 서비스에서 비슷한 지시문이나 참고 자료를 반복해서 보낼 때는 처리 시간과 입력 비용을 함께 살펴볼 필요가 있습니다. OpenAI API의 프롬프트 캐싱은 요청 앞부분의 변하지 않는 내용을 다시 활용할 수 있도록 설계된 기능입니다. 어떤 경우에 도움이 될까? 여러 요청에 공통 지시문이나 참고 자료가 들어가는 작업이 대표적인 후보입니다. 공통 부분을 […]

글 읽기 : 프롬프트 캐싱이란? 반복 요청에서 확인할 점