대규모 언어 모델 API 중계

서드파티 대규모 언어 모델 API를 프로덕션 환경에 연결할 때 어려운 부분은 첫 줄의 코드가 돌아가는 순간이 아니에요. 프로젝트를 안정적으로 납품할 수 있는지는 오픈 후 첫 한 달 동안 미리 볼 수 없었던 문제들이 결정해요. 요청은 돌아왔는데 형식이 틀렸거나, 클라이언트는 타임아웃이 났는데 플랫폼은 이미 과금했거나, 메인 채널이 죽자 폴백이 슬쩍 더 비싼 모델로 바꿔치기했거나, 석 달 … 더 읽기