당신의 모델은 왜 공식 벤치마크보다 못합니까? 먼저 사고 수준, 진입점, 동일한 모델 ID를 맞추세요.

img-487beb9ab171f96dd7fa670b

작성자 주: 내가 쓰는 모델이 공식 리더보드보다 성능이 낮다고 해서 먼저 결론부터 내리지 마세요. 많은 경우 추론 수준, 진입점, 모델 ID가 리더보드 측정 당시의 설정과 맞지 않았기 때문이에요. 이 글에서는 이 세 가지를 확인하는 순서를 알려드리고, 확인한 뒤에 모델을 바꿀지 결정할 수 있게 도와드려요. 많은 개발자가 똑같은 격차를 겪어요. 공식 공지에는 어떤 모델이 리더보드에서 높은 … 더 읽기