작성자 주: 내가 쓰는 모델이 공식 리더보드보다 성능이 낮다고 해서 먼저 결론부터 내리지 마세요. 많은 경우 추론 수준, 진입점, 모델 ID가 리더보드 측정 당시의 설정과 맞지 않았기 때문이에요. 이 글에서는 이 세 가지를 확인하는 순서를 알려드리고, 확인한 뒤에 모델을 바꿀지 결정할 수 있게 도와드려요.
많은 개발자가 똑같은 격차를 겪어요. 공식 공지에는 어떤 모델이 리더보드에서 높은 점수를 받았다고 적혀 있는데, 비슷한 문제로 직접 테스트해 보면 결과가 기대에 확실히 못 미치죠. 그러면 모델이 “멍청해졌다”거나 “사양이 낮아졌다”고 의심하게 돼요. 이 글에서는 더 현실적인 점검 방법을 소개할게요: 먼저 추론 수준, 진입점, 동일한 모델 ID를 맞춘 다음, 격차가 실제로 존재하는지 판단하는 거예요.
이건 “스위치 세 개만 조정하면 공식 리더보드와 동일해지는” 비법이 아니에요. 아래의 차이는 모두 공개 문서에서 나온 것이에요. 이것들은 내가 비교하는 대상이 정말 같은 것인지 확인하는 데만 도움을 줄 뿐, 조정한 뒤에 리더보드 점수를 그대로 받는다고 보장하지도 않고, APIYI가 공식 리더보드를 재현했다는 뜻도 아니에요.
핵심 가치: 이 글을 다 읽으면 이 세 가지를 확인하는 순서와 각 단계에서 어떤 문서를 봐야 하는지 알게 될 거예요. 확인한 뒤에도 격차가 남는다면 모델을 바꾸기 전에 어떤 가격과 엔드포인트를 맞춰야 하는지도 알 수 있어요.

공식 벤치마크와 맞지 않는 핵심 포인트
먼저 결론부터 말할게요. 리더보드 점수는 절대 “모델 이름”의 점수가 아니라, “특정 모델 ID + 특정 사고 단계 + 특정 진입점 조건”에서 나온 점수예요. 이 세 가지 중 하나라도 다르면, 내가 받은 결과를 리더보드와 곧바로 비교할 수 없어요.
| 확인 항목 | 대표적인 차이(공개 문서 기준) | 맞지 않으면 어떻게 되나 | 우선순위 |
|---|---|---|---|
| 사고 단계 | Neon은 API에서 기본값이 high이고, 별도로 low, medium, xhigh가 있어요. Carbon은 기본값이 medium이고 xhigh가 없어요 |
출력 길이와 추론 깊이가 달라지니 결과도 당연히 달라져요 | 첫 번째 단계 |
| 진입점 윈도우 | Neon의 API 윈도우는 1,048,576 토큰이지만, Antigravity 문서에는 최대 512K로 적혀 있어요 |
리더보드에 있는 장문 컨텍스트 성능을 내 진입점에서는 다 담지 못할 수 있어요 | 두 번째 단계 |
| 모델 ID | Gemini 4에는 최소 argon, carbon, hydrogen, neon 네 가지가 있고, 사고 단계와 가격이 모두 달라요 |
A의 결과를 B의 리더보드와 비교하면, 같은 걸 비교하는 게 아니에요 | 세 번째 단계 |
왜 사고 단계가 공식 벤치마크 확인의 첫 번째일까
사고 단계는 가장 놓치기 쉬운 변수예요. 보통 기본값이 있어서 따로 설정하지 않아도 정상적으로 호출되거든요. 문제는 모델마다 기본값이 다르다는 점이에요. Gemini 4를 예로 들면 Neon은 API에서 기본이 high이고 Carbon은 기본이 medium이에요. 같은 문장의 프롬프트라도 단계가 다르면 출력 길이와 최종 결과가 모두 달라져요.
리더보드는 보통 테스트 단계를 명시해요. 공식 발표에서 인용한 점수, 예를 들어 Neon이 xhigh 단계에서 Artificial Analysis에서 받은 61점은 반드시 단계와 함께 읽어야 해요. 기본값인 high로 xhigh의 점수와 비교한다면, 그 자체로 같은 조건이 아니에요. 게다가 Carbon에는 xhigh 단계가 아예 없으니, “Carbon을 최고 단계로 올린다”고 해서 Neon의 xhigh와 같아지는 것도 아니에요.
진입점마다 같은 단계를 다르게 부르기도 해요. Antigravity에서는 Neon의 최고 단계가 화면에 Extra로 표시되는데, API 문서의 xhigh와 이름이 달라요. 확인할 때는 문서의 대응 관계를 따라 찾아야 하고, 글자만 보고 판단하면 안 돼요.
진입점 윈도우와 모델 ID도 똑같이 중요한 이유
진입점 윈도우는 모델에 얼마나 많은 컨텍스트를 넣을 수 있는지를 결정해요. Neon을 API로 호출할 때 윈도우는 1,048,576 토큰이지만, Antigravity 문서에는 최대 512K로 적혀 있어요. 리더보드가 장문 문서 검색이나 대형 코드베이스 이해를 측정했다면, 윈도우가 더 작은 진입점에서는 같은 모델로 바꿔도 내용이 잘려서 더 나쁜 결과를 얻을 수 있어요.
모델 ID는 가장 “단단한” 항목이에요. Gemini 4 세대에는 최소 argon, carbon, hydrogen, neon 네 가지 ID가 있고, 사고 단계 설정과 가격이 모두 달라요. Hydrogen의 결과를 Neon의 xhigh 단계 리더보드 점수와 비교하면 차이가 나는 게 지극히 당연해요. 호출하기 전에 APIYI apiyi.com의 모델 전체 목록에서 요청에 적은 ID가 정확히 어느 것인지 확인하는 게 좋아요. 기억이나 남의 스크린샷을 보고 적지 말고요.

공식 벤치마크와 빠르게 맞춰보는 단계
이번 절에서는 세 가지 항목 확인을 구체적인 조작으로 풀어봅니다. 복사하기 쉽도록 파라미터 이름, 모델 ID, 주소는 모두 인라인 코드로 적어둘게요. 여러분은 자신의 요청과 하나하나 대조해보면 됩니다.
1단계: 호출 진입점과 엔드포인트 확인하기
먼저 자신이 어떤 진입점에서 모델을 쓰고 있는지 명확히 해두세요. 웹 인터페이스인지, IDE 플러그인인지, 아니면 API를 직접 호출하는지 말이죠. 진입점마다 창 상한과 등급 명칭이 다를 수 있어요. OpenAI 호환 인터페이스를 쓴다면 base_url을 https://api.apiyi.com/v1로 설정하고, api_key에는 APIYI 콘솔에서 생성한 키를 넣으세요. 이렇게 해두면 이후 모델을 바꿀 때 model 필드만 고치면 되고, 진입 조건이 일정하게 유지되니 비교에 의미가 생겨요.
2단계: 모델 ID를 완전한 한 줄로 쓰기
요청에서 model을 완전한 ID로 적으세요. 예를 들어 gemini-4-neon 혹은 gemini-4-carbon처럼요. 두루뭉술한 “Gemini 4” 같은 표기는 쓰지 마세요. 다 적은 뒤에는 모델 총표로 돌아가 한 번 확인해서, 이 ID가 바로 리더보드가 측정한 그 ID인지 점검하세요. 리더보드가 Neon을 측정했는데 여러분은 gemini-4-hydrogen을 호출하고 있다면, 이후의 모든 비교는 그냥 접어두세요. 먼저 ID부터 제대로 고치는 게 순서예요.
3단계: 사고 등급을 명시적으로 설정하기
기본값에 의존하지 말고, 요청에서 사고 등급을 명시적으로 지정하세요. 구체적인 필드 이름은 해당 모델의 공식 문서를 기준으로 삼으세요. 설정할 때 세 가지를 주의하세요:
- 리더보드 측정 등급에 맞추기: 리더보드에
xhigh라고 적혀 있으면xhigh로,high라고 적혀 있으면high로 설정하세요. - 등급 존재 여부 확인: Carbon에는
xhigh가 없어요. 억지로 Neon의xhigh리더보드에 맞출 필요가 없어요. - 이름 매핑 주의: Antigravity 인터페이스의
Extra는 Neon의 최고 등급에 해당하는데, API로 옮길 때는 문서에 적힌 등급명으로 바꿔야 해요.
4단계: 컨텍스트가 진입점 창을 초과하는지 확인하기
테스트 내용이 길다면 먼저 토큰 수를 추산하고, 진입점 상한과 비교하세요. API로 Neon을 호출할 때 상한은 1,048,576 토큰이고, Antigravity 문서에는 최대 512K로 적혀 있어요. 상한을 넘는 내용은 잘리거나 오류가 나는데, 이때의 “효과가 나쁘다”는 사실 입력이 불완전했기 때문이에요.
🚀 빠른 시작: 같은 진입 조건에서 여러 모델 ID를 비교하고 싶다면, APIYI apiyi.com을 통해 하나의 키로 Gemini, Claude, GPT 등의 모델을 호출할 수 있어요. 신규 사용자에게는 무료 테스트 한도가 주어지니, 먼저 등급과 ID를 맞춘 다음 소규모로 비교해보기에 안성맞춤이에요.
세 가지 확인 체크리스트
| 확인 항목 | 요청에서 봐야 할 필드 | 합격 기준 | 흔한 실수 |
|---|---|---|---|
| 진입점 | base_url |
하나의 진입점으로 고정, 예: https://api.apiyi.com/v1 |
웹에서 한 번, API로 한 번 섞어서 비교 |
| 모델 ID | model |
리더보드와 일치하는 완전한 ID | neon 리더보드에 hydrogen으로 비교 |
| 사고 등급 | 사고 등급 파라미터(필드명은 문서 기준) | 리더보드 측정 등급과 일치하고 해당 등급이 존재 | 기본값에 의존, Carbon에 xhigh 설정 |
| 컨텍스트 | 입력 토큰 수 | 진입점 창 상한 이내 | 512K 진입점에 백만 단위 콘텐츠 욱여넣기 |
공식 기준과 대조해도 차이가 남는다면: 모델을 바꾸기 전에 가격과 엔드포인트를 확인하세요
세 항목이 모두 일치하는데도 차이가 여전히 뚜렷하다면, 그때서야 모델 교체를 고려할 만해요. 모델을 바꾸는 건 이름만 바꾸는 게 아니라 능력 등급과 비용을 함께 봐야 하는 일인데, Gemini 4의 각 ID별 표시 가격 차이가 상당하기 때문이죠. 아래는 2026-11-20에 확인한 APIYI 게시 가격이며, 단위는 모두 달러/백만 토큰이에요.

| 모델 ID | 입력 | 캐시 읽기 | 출력 | 비고 |
|---|---|---|---|---|
gemini-4-neon |
3 |
0.15 |
15 |
가격 책정 API 기준, Google 표시 가격과 일치 |
gemini-4-carbon |
2 |
0.1 |
10 |
Google의 2026-11-30까지 소개 가격에 해당 |
gemini-4-argon |
2 |
0.1 |
10 |
모델 총표에서 가져옴 |
gemini-4-hydrogen |
1.5 |
0.075 |
7.5 |
네 개 중 단가가 가장 낮음 |
gpt-6.2-astra |
8 |
0.4 |
40 |
272000 토큰 초과 시 입력은 16, 자세한 내용은 아래 참조 |
claude-fable-5-2 / claude-fable-5-2-thinking |
8 |
0.2 |
40 |
두 ID의 가격이 동일 |
이 표에서 몇 군데는 따로 짚고 넘어가야 해요. 그렇지 않으면 비용을 잘못 계산하기 쉬워요:
- gemini-4-neon의 출처: 2026-11-19 10:59(UTC+8)에 업데이트된 그 버전의 모델 총표에는 포함되어 있지 않지만, 가격 책정 API에는 있어요. 가격 책정 API가 제시하는
model_ratio는1.5,completion_ratio는5,cache_ratio는0.05예요.model_ratio가1이면 입력2달러/백만 토큰에 해당한다는 기준으로 환산하면 입력3, 출력15, 캐시 읽기0.15가 나와요. - gemini-4-carbon의 가격 유효 기간: 현재 가격은 Google의 2026-11-30까지 소개 가격에 해당해요. 12월 1일부터 Google의 표준 가격은 입력
4, 출력20이므로 장기 예산을 세울 때는 이 변화를 꼭 반영해야 해요. - gpt-6.2-astra의 구간 설정: 모델 총표에는 첫 구간이 입력
8, 캐시 읽기0.4, 출력40으로 되어 있고,272000토큰을 초과하면 입력이16이에요. 가격 책정 API는272000토큰 초과 시 출력을60, 캐시 읽기를0.8로 계산해요. 두 정보를 함께 참고하세요.
💡 선택 가이드: 모델을 바꿀 때는 후보 ID를 같은
base_url아래에 두고, 동일한 사고 단계와 입력으로 비교해야 결론이 탄탄해져요. APIYI apiyi.com의 모델 총표와 가격 책정 API 모두에서 이 ID들의 현재 가격을 확인할 수 있으니, 호출 전에 한 번 더 확인하는 걸 권장해요. 이 글의 표만 믿지 마세요.
모델을 바꿀 때 엔드포인트와 과금 체크리스트
| 확인 항목 | 확인 위치 | 확인해야 하는 이유 |
|---|---|---|
| 모델 ID 존재 여부 | 모델 전체 목록 docs.apiyi.com/models.md |
전체 목록의 버전이 뒤처져 있을 수 있으니, 일부 ID는 가격 책정 API에서 한 번 더 확인해야 해요 |
| 현재 단가와 배율 | 가격 책정 API api.apiyi.com/api/pricing |
배율을 달러 단가로 환산할 수 있어요. 버전 번호는 shell-api-modelmak-v1 |
| 긴 컨텍스트 구간 구분 | 전체 목록과 가격 책정 API 두 곳 대조 | 예를 들어 gpt-6.2-astra는 272000 token을 넘으면 단가가 달라져요 |
| 호출 엔드포인트 | https://api.apiyi.com/v1 |
OpenAI 호환 형식이라, 모델만 바꿀 때는 model만 수정하면 돼요 |
| 업스트림 가격 변동 | 공식 가격 공지 | 예를 들어 Carbon의 소개 가격은 2026-11-30에 종료돼요 |
자주 묻는 질문 FAQ
Q1: 공식 벤치마크 점수는 정확히 어떤 조건에 대응하나요?
리더보드 점수는 ‘특정 모델 ID + 특정 사고 단계 + 특정 진입 조건’의 조합에 대응해요. 결코 두루뭉술한 모델 이름 하나에 대응하는 값이 아니에요. 예를 들어 Neon의 61점은 `xhigh` 단계에서의 Artificial Analysis 성적이에요. 단계를 떼어내고 이 숫자만 인용하면 오해를 불러일으키기 쉬워요.
Q2: 사고 단계, 진입 창, 모델 ID 중 무엇을 먼저 확인해야 하나요?
권장 순서는 사고 단계를 먼저 확인하고, 다음으로 진입 창을 확인하고, 마지막으로 모델 ID를 대조하는 거예요. 세 항목이 모두 맞아떨어진 뒤에 점수를 비교하세요. 실제로는 ID를 먼저 슬쩍 확인해도 괜찮아요. ID가 틀리면 뒤의 두 항목은 볼 필요도 없으니까요. 순서의 의미는 항목을 하나씩 배제하는 데 있지, 매번 정해진 절차를 기계적으로 따르는 데 있지 않아요.
Q3: 사고 단계를 최고로 올리면 공식 벤치마크에 도달할 수 있나요?
그렇게 약속할 수는 없어요. 단계를 맞추는 것은 당신이 리더보드와 같은 조건에서 비교하고 있다는 것만 보장해요. 문제 분포, 프롬프트 작성 방식, 샘플링 방식 같은 요소가 여전히 차이를 만들 수 있어요. 게다가 모든 ID에 최고 단계가 있는 것도 아니에요. 예를 들어 Carbon에는 `xhigh`가 없어서, Carbon의 최고 단계로 올린다고 해서 Neon의 `xhigh`와 같아지는 건 아니에요.
Q4: 같은 Neon인데 IDE에서와 API를 직접 호출할 때 효과가 다른 이유는 무엇인가요?
진입 조건이 다를 수 있어요. Neon이 API를 통해 호출될 때 창은 `1,048,576` 토큰인데, Antigravity 문서에는 최대 `512K`라고 적혀 있어요. 양쪽의 단계 이름도 달라요. Antigravity 인터페이스에서 최고 단계는 `Extra`라고 불러요. 긴 컨텍스트 작업이 더 작은 창의 진입점에서 성능이 나빠지는 건 조건 차이 때문이지, 모델 자체가 퇴화했다는 걸 뜻하지 않아요.
Q5: 같은 진입점에서 여러 모델 ID를 어떻게 비교하나요?
아래 세 단계로 진행할 수 있어요:
1. APIYI apiyi.com에서 가입하고 API 키를 생성하세요. 신규 사용자는 무료 테스트 크레딧을 받을 수 있어요.
2. `base_url`을 모두 `https://api.apiyi.com/v1`로 설정하고, `model` 필드만 바꿔서 ID를 전환하세요.
3. 각 ID마다 동일한 사고 단계를 명시적으로 설정하고, 같은 입력 배치로 비교하세요.
이렇게 하면 진입점과 단계가 모두 고정되므로, 차이는 주로 모델 자체에서 비롯돼요.
Q6: gemini-4-neon이 모델 전체 목록에 없는데, 호출할 수 있나요?
2026-11-19에 업데이트된 그 버전의 전체 목록에는 `gemini-4-neon`이 포함되지 않았어요. 하지만 가격 책정 API에는 이 모델의 배율이 있어요. 환산하면 입력 `3`, 출력 `15`, 캐시 읽기 `0.15`달러/백만 토큰으로 Google 표시 가격과 일치해요. APIYI apiyi.com 가격 API의 실시간 결과를 기준으로 삼고, 호출 전에 한 번 더 확인하는 걸 권장해요.
Q7: 모델을 바꿀 때 가장 쉽게 계산이 틀리는 항목은 무엇인가요?
가장 쉽게 틀리는 건 긴 컨텍스트 구간 구분과 가격 유효 시점이에요. `gpt-6.2-astra`는 `272000` 토큰을 넘으면 입력 단가가 `8`에서 `16`으로 바뀌어요. 가격 API에는 이때 출력이 `60`, 캐시 읽기가 `0.8`로 적용된다고 명시돼 있어요. Carbon은 현재 도입 가격이고, 12월 1일부터 Google 표준가는 입력 `4`, 출력 `20`이에요.
공식 벤치마크 대조, 핵심 요점
- 점수에는 조건이 따라붙어요: 벤치마크 점수는 “모델 ID + 사고 레벨 + 진입점”의 조합에 해당하는 것이지, 모델 이름 자체의 점수가 아니에요.
- 먼저 사고 레벨부터 확인하세요: Neon은 기본값이
high, Carbon은 기본값이medium이고xhigh가 없어요. 기본값에 의존하지 마세요. - 다음은 진입점 윈도우예요: API에서의 Neon은
1,048,576token이고, Antigravity 문서에는 최대512K로 적혀 있어요. - ID는 같은 것이어야 해요: Gemini 4에는 적어도 네 개의 ID가 있어요. Hydrogen의 결과로 Neon의 벤치마크와 비교하는 건 의미가 없어요.
- 조정해도 같아진다고 보장하진 않아요: 조건을 맞추는 건 비교가 성립하게 할 뿐, 점수가 벤치마크와 같아진다고 약속하지는 않아요.
- 모델을 바꿀 땐 가격표와 대조하세요: APIYI apiyi.com에서 통합 엔드포인트로 여러 ID를 비교하고, 동시에 전체 표와 가격 API의 가격을 확인하세요.
정리
모델 성능이 공식 벤치마크에 못 미칠 때, 세 가지를 확인하는 순서는 이래요:
- 사고 레벨을 맞추기: 벤치마크 측정과 동일한 레벨을 명시적으로 설정하고, 이 ID에 해당 레벨이 있는지 확인하세요.
- 진입점 윈도우를 맞추기: 내 진입점이 테스트 내용을 담을 수 있는지 확인하고, 진입점마다 레벨 명명이 다를 수 있으니 유의하세요.
- 모델 ID를 맞추기: 요청에 전체 ID를 적고, 모델 전체 표로 돌아가 글자 하나하나 대조하세요.
세 가지를 모두 맞춘 뒤에도 격차가 여전히 있다면, 그때 모델 교체를 고려하세요. 모델을 바꿀 때는 능력 레벨, 단가, 긴 컨텍스트 구간, 가격 유효 기간을 동시에 비교해야 해요. 이때 판단 근거는 같은 조건에서의 비교 결과이지, 조건을 떼어놓고 인용한 벤치마크 숫자가 아니에요.
APIYI apiyi.com을 통해 동일한 https://api.apiyi.com/v1 엔드포인트에서 여러 모델 ID를 검증하는 걸 추천해요. 진입점과 레벨을 고정하면 비교 결론이 훨씬 신뢰할 만해져요.
📚 참고 자료
-
APIYI 모델 전체 목록: 모델 ID와 정가 요약
- 링크:
docs.apiyi.com/models.md - 설명: 이 글에서 참조하는 버전은 2026-11-19 10:59(UTC+8)에 업데이트된 버전이에요. 모델 ID가 존재하는지 확인할 때 활용할 수 있어요.
- 링크:
-
APIYI 가격 API: 실시간 배율과 단가
- 링크:
api.apiyi.com/api/pricing - 설명: 버전은
shell-api-modelmak-v1이고,model_ratio가1일 때 입력2달러/백만 토큰과 같아요. 이를 기준으로 각 모델의 단가를 환산할 수 있어요.
- 링크:
-
Google Gemini 4 공식 문서 및 가격 안내: 사고 수준, 윈도우, 표시 가격
- 링크:
ai.google.dev - 설명: 각 ID의 기본 사고 수준, 선택 가능한 사고 수준, API 윈도우 상한, 가격 변경 시점을 확인할 수 있어요.
- 링크:
작성자: APIYI 기술팀
기술 관련 문의: APIYI 공식 홈페이지 첫 화면에서 저희에게 연락해 주세요. 더 많은 모델 및 API 자료는 APIYI 문서 센터에서 확인할 수 있어요.