Как запустить API-тесты в Claude Code? Одна команда Apidog — успех только при коде выхода 0

Примечание автора: записываем команду запуска сценария Apidog в CLAUDE.md, чтобы Claude Code прогонял API-тесты по готовому сценарию, определял результат по коду выхода и на примере видеоинтерфейса Seedance разбирал, как проектировать assert-проверки, связанные с биллингом и модерацией.

Если вы уже пишете код API с помощью Claude Code, то наверняка сталкивались с таким: поправишь одно поле — и снова нужно переключаться в Apidog, вручную запускать сценарий, а потом возвращаться и сообщать Claude Code результат. В этой статье предлагается записать команду запуска сценария Apidog CLI в CLAUDE.md, чтобы Claude Code сам прогонял тесты и сам читал код выхода — так автоматизированное тестирование API с Claude Code превращается в замкнутый цикл.

Это не очередная вводная статья про Claude Code. Шаги работы с Apidog в статье взяты из официального обучающего материала, опубликованного Apidog; правила биллинга и модерации Seedance — из оригинальной документации APIYI. В обоих случаях в тексте явно указан источник, чтобы вы могли проверить сами.

Главное: после этой статьи вы будете знать, как закрепить команду запуска в CLAUDE.md, почему прохождение или провал стоит определять по коду выхода, а не по словесному выводу модели, где должен лежать токен и какие assert-проверки действительно имеет смысл написать для асинхронного видеоинтерфейса.

claude-code-api-automated-testing-apidog-ru-image-0


Автоматизированное тестирование API в Claude Code: ключевые моменты Apidog

Прежде чем браться за дело, разобьём весь план на несколько ключевых решений. В таблице ниже собраны основные ограничения из руководства вендора и документации APIYI, которые касаются этого подхода: каждое из них напрямую влияет на то, сможет ли тест стабильно воспроизводиться.

Пункт Описание Что даёт
Команда запуска прописана в CLAUDE.md Claude Code читает CLAUDE.md в корне репозитория, команда выглядит так: apidog run -t 场景ID -e 环境ID -r cli В каждой сессии выполняется одна и та же команда, а не то, что вспомнилось
Результат определяется по коду выхода Код выхода 0 означает, что все проверки прошли; ненулевой — что есть ошибки Не даёт модели «сказать, что прошло», хотя на деле ничего не прошло
ID копируются со страницы CI/CD ID сценария и ID окружения берутся на странице CI/CD соответствующего сценария в Apidog Модель не выдумает ID, и сценарий не потеряется
Токен не попадает в файлы Локально вход выполняется через apidog login, а --access-token в CLAUDE.md не пишется Токен не утечёт вместе с коммитом в репозиторий
Два типа эндпоинтов разделены Текстовая модель, которая управляет Claude Code, и тестируемый видеоинтерфейс — это не один и тот же эндпоинт Конфигурация понятная, а биллинг можно отследить

Как Claude Code читает CLAUDE.md

Согласно инструкции от Apidog, сам инструмент — это npm-пакет apidog-cli, и при запуске Claude Code читает CLAUDE.md в корне репозитория как описание проекта. То есть команды запуска, правила проверки и запреты, которые вы запишете в этот файл, становятся контекстом для каждой сессии Claude Code. Если не уверены, какие именно файлы с инструкциями загрузились в текущей сессии, выполните в Claude Code /memory.

Именно это и определяет устойчивость всей схемы. Чем каждый раз повторять в диалоге «прогони, пожалуйста, сценарий Apidog», лучше один раз зафиксировать команду. После правок кода Claude Code вызовет apidog run согласно инструкциям в CLAUDE.md и по выводу терминала решит, продолжать исправления или завершать задачу.

Коды выхода Apidog CLI и формат отчёта

В инструкции отдельно подчёркивается, что формат отчёта -r cli нужно сохранять обязательно, потому что Claude Code опирается на вывод терминала, чтобы понять, что делать дальше. Если вам ещё нужен отчёт, который можно открыть в браузере, добавьте в параметр -r значение html — файл появится в каталоге ./apidog-reports. Важно именно «добавить», а не «заменить»: если убрать cli-отчёт, Claude Code потеряет основу для чтения результатов.

Коды выхода — это судья всей схемы. Порядок проверки из инструкции стоит взять на вооружение: сначала убедитесь, что в терминале действительно появилась команда apidog run; затем смотрите на код выхода и, если код расходится со словесным выводом модели, ориентируйтесь на код; если появляется сообщение, что сценарий не найден, вернитесь в CLAUDE.md и проверьте, правильный ли ID.

claude-code-api-automated-testing-apidog-ru-image-1

Быстрый старт: автоматизированное тестирование API в Claude Code

Этот раздел построен по порядку «подготовка окружения → написать CLAUDE.md → настроить права → первый запуск». Так как это онлайн-учебник, все команды даны в виде inline-кода — можете копировать их в терминал по одной.

Шаг 1: настраиваем адрес подключения модели для Claude Code

Сам Claude Code при работе потребляет токены, а дальше вызовы тестируемого видео-API добавят ещё расход — поэтому сначала чётко разведите два типа адресов подключения. При работе через APIYI Claude Code использует нативный протокол Anthropic, адрес — https://api.apiyi.com, не добавляйте в конце /v1, иначе получится /v1/v1/messages, и запрос упадёт. Только для клиентов с протоколом, совместимым с OpenAI, адрес — https://api.apiyi.com/v1.

На практике нужно в shell, из которого запускаете Claude Code, задать переменные окружения: ANTHROPIC_BASE_URL — нативный адрес Anthropic, ANTHROPIC_AUTH_TOKEN — токен, созданный вами на платформе. Токены для моделей серии Claude лучше держать в отдельной группе ClaudeCode, чтобы не смешивать их с токеном, который потом используется для видео-API.

🚀 Быстрый старт: официально рекомендуемый вариант — в консоли APIYI apiyi.com создать отдельные токены для Claude Code и для тестируемого API. У новых пользователей есть бесплатная тестовая квота — её хватит, чтобы прогнать первый сценарий и уже потом решить, какую модель использовать постоянно.

Шаг 2: записываем инструкции по тестированию в CLAUDE.md

Согласно руководству производителя, в CLAUDE.md стоит включить следующие пункты, связанные с тестированием, — каждый достаточно описать одним предложением:

  1. Команда запуска: для регрессионных тестов используйте apidog run -t <场景ID> -e <环境ID> -r cli, где оба ID — реальные значения, скопированные со страницы CI/CD в Apidog.
  2. Правило определения результата: результат определяется по коду возврата команды — 0 означает, что всё прошло, ненулевое значение — есть провалы. Не делайте выводы на основе пересказа естественным языком.
  3. Запреты: не придумывайте и не изменяйте ID сценария и ID окружения самостоятельно; не добавляйте в команду --access-token.
  4. Требования к отчёту: сохраняйте -r cli, при необходимости браузерного отчёта можно добавить html, результаты сохраняются в ./apidog-reports.
  5. Пояснение по региону: если проект развёрнут в европейском регионе Apidog, в команду нужно дополнительно добавить --api-base-url api.eu.apidog.com — это собственный региональный адрес Apidog, не связанный с адресом подключения модели.

Шаг 3: вход и настройка прав доступа

Управление токенами — самый рискованный момент. Руководство производителя рекомендует один раз выполнить на локальной машине apidog login для входа и чётко оговаривает: не записывайте токен в CLAUDE.md и не допускайте появления --access-token в этом файле. CLAUDE.md обычно коммитится вместе с репозиторием, так что записанный токен равносилен его публикации.

По умолчанию Claude Code перед выполнением Bash-команд сначала спрашивает разрешение. Если вы хотите, чтобы он запускал тесты автоматически, можно добавить Bash(apidog run *) в список allow разрешений в .claude/settings.json — разрешив только этот класс команд. Руководство также напоминает, что --dangerously-skip-permissions подходит только для одноразовых окружений вроде CI и не годится для локальной машины, работающей постоянно.

Параметр конфигурации Рекомендуемая практика Не рекомендуется Источник
Вход в Apidog apidog login на локальной машине писать --access-token в CLAUDE.md руководство производителя
Разрешение команд allow Bash(apidog run *) постоянно держать --dangerously-skip-permissions на локальной машине руководство производителя
ID сценария копировать со страницы CI/CD давать модели угадывать или генерировать руководство производителя
Адрес Claude Code ANTHROPIC_BASE_URL без /v1 с /v1 приводит к дублированию пути документация APIYI
Группа токенов для Claude — ClaudeCode, для видео — SeeDance2 один токен на все группы сразу документация APIYI

Шаг 4: Первый успешный прогон и сверка

После того как настройка завершена, дайте Claude Code выполнить регрессионный тест. Следуя порядку проверки из руководства производителя, нужно своими глазами убедиться в трёх вещах: в терминале появилась полная команда apidog run; команда вернула явный код выхода; если что-то упало, в выводе терминала видно, какая именно проверка (утверждение) не прошла. Только когда выполнены все три условия, этот замкнутый цикл можно считать действительно построенным.

💡 Технический совет: при первом прогоне можно намеренно подставить неверное ожидаемое значение в одно из утверждений и убедиться, что код выхода станет ненулевым, а Claude Code начнёт по этому признаку дальнейший разбор. Так вы проверите, что правило «ориентируемся на код выхода» действительно работает.


Практика автоматизации тестирования API в Claude Code: проектирование утверждений для видеоинтерфейса Seedance

Тестировать текстовые интерфейсы довольно просто и наглядно, а вот асинхронные видеоинтерфейсы по-настоящему проверяют качество проектирования утверждений. В этом разделе на примере линейки Seedance, уже размещённой на APIYI, разберём, что стоит утверждать в сценариях Apidog, а что — нет.

Модели, группы и цены Seedance

Согласно документации APIYI, доступны следующие ID моделей Seedance: doubao-seedance-2-5-260628, doubao-seedance-2-0-260128, doubao-seedance-2-0-fast-260128 и doubao-seedance-2-0-mini-260615. Токен, с которым вызываются эти модели, должен принадлежать группе SeeDance2, иначе вернётся ошибка «для этой модели нет доступных каналов». Тестируемый видеоэндпоинт и текстовая модель, управляющая Claude Code, — это разные эндпоинты. Их нельзя использовать взаимозаменяемо, просто изменив поле model. В сценарии Apidog запросы на отправку и проверку статуса нужно настраивать отдельно по документации Seedance.

В таблице ниже — цены за использование из общего прайс-листа (обновлён 2026-11-16), в долларах США за 1 млн токенов. Модели и цены следует сверять со списком моделей на платформе.

Модель Вход Выход Чтение кэша Доступная платформа
doubao-seedance-2-5-260628 70 70 Нет APIYI apiyi.com
doubao-seedance-2-0-260128 46 46 Нет APIYI
doubao-seedance-2-0-fast-260128 37 37 Нет APIYI
doubao-seedance-2-0-mini-260615 23 23 Нет APIYI

В документации также приведён пример пересчёта для видео 720p длительностью 5 секунд: для 2.5 — около 1.3721 доллара США, для стандартной версии 2.0 — около 0.9074 доллара. Важно подчеркнуть: это лишь пример пересчёта цены за миллион токенов в стоимость одного видео, а не второй прайс-лист, отличный от общего.

Пять рекомендованных проверок

Все пять проверок ниже опираются на текст документации и вполне готовы к переносу в сценарии Apidog:

  • У задачи есть ID: после успешной отправки запроса в ответе обязательно должен быть ID задачи — именно на него опирается последующий опрос статуса. Нет ID — проверка провалена.
  • Длительность передаётся явно: в документации прямо сказано, что значение duration по умолчанию для 2.5 равно -1, поэтому в тестовом запросе длительность нужно указывать явно, иначе стоимость разных прогонов просто не с чем сравнить.
  • Ошибка в параметрах не тарифицируется: в документации указано, что при HTTP 400 из-за ошибки в параметрах списания не происходит. Можно собрать запрос без обязательного поля, проверить, что статус-код равен 400, и по логам убедиться, что деньги не списаны.
  • Блокировка модерацией не тарифицируется: в документации сказано, что ошибки с префиксом PUBLIC_ — это блокировка со стороны модерации на стороне провайдера, и они тоже не тарифицируются. Проверка только распознаёт такие коды ошибок и отличает их от ошибок в параметрах как два разных типа сбоя.
  • Общая цена — это сумма двух записей в логах: в документации указано, что по одному видео в логах есть две записи о списании: предварительное удержание при отправке и перерасчёт после завершения с возвратом разницы или доплатой. Итоговая стоимость — сумма обеих записей.

Что касается суммы предварительного удержания, в документации приводятся значения примерно 0,09 доллара за секунду для линейки 2.0 и около 0,135 доллара за секунду для 2.5, а после завершения расчёт идёт по фактическим токенам. Поэтому проверка стоимости не может опираться только на первую запись в логах — это лишь сумма предварительного удержания.

claude-code-api-automated-testing-apidog-ru-image-2

Что не стоит оформлять как тесты

Блокировка модерацией — это граница соответствия требованиям, а не кейс, который надо «пробить». В документации прямо рекомендуют после неудачной модерации не повторять один и тот же промпт снова и снова, поэтому и в сценариях не стоит проектировать шаги с циклическими повторами или попытками прощупать правила модерации. Точно так же эталонные изображения с реальными лицами будут отклонены на стороне провайдера: их нужно сначала загрузить в хранилище и ссылаться через asset://. Это обязательное условие соответствия требованиям, и его следует описывать в инструкции по подготовке тестовых данных, а не в отдельном тест-кейсе.

📊 Пояснение по данным: правила тарификации и модерации Seedance, приведённые выше, взяты из оригинальной документации APIYI. Актуальные формулировки можно сверять на странице Seedance в центре документации apiyi.com и уже потом закреплять их в ассертах.


Выбор модели-драйвера для Claude Code и стоимость

Сам прогон тестов в Claude Code тоже расходует токены, и выбор модели напрямую влияет на повседневные затраты. В таблице ниже — цены трёх моделей Claude из общего прайс-листа, в тех же единицах: доллары за 1 млн токенов; все они поддерживают эндпоинты chat и messages.

Модель Ввод Вывод Чтение кэша Группа
claude-opus-5-5 4 20 0.2 ClaudeCode, Claude_Reverse, Claude_Enterprise, Default, SVIP
claude-sonnet-5-5 2 10 0.1 те же
claude-haiku-5-5 0.1 при объёме до 100 тыс. токенов, 0.5 — сверх этого 0.5 0.01 ClaudeCode, Claude_Enterprise, Default, SVIP

Обратите внимание: в строке Haiku нет группы Claude_Reverse. Если ваш токен относится только к этой группе, то при переключении на Haiku доступных каналов не окажется. Разумный подход такой: для рутинных структурированных задач — прогона регрессии, чтения кодов возврата — брать модель полегче, а при сложных падениях, где нужен глубокий разбор, переключаться на более мощную.

💰 Оптимизация затрат: поскольку тарифицируются обе стороны — и модель-драйвер, и тестируемый интерфейс — советую в консоли APIYI смотреть журнал использования в разрезе токенов и отдельно считать расход Claude Code и расход Seedance, чтобы понять, на какую сторону уходит основная часть затрат на тесты.


Частые вопросы (FAQ)

Q1: Что такое подход Apidog к автоматизированному тестированию API в Claude Code?

Суть в том, чтобы прописать команду запуска сценария Apidog CLI в `CLAUDE.md` в корне репозитория. Тогда Claude Code после правок кода сам выполнит `apidog run` и по коду выхода поймёт, прошли ли тесты, — и не придётся вручную нажимать «запустить».

Q2: Почему ориентироваться на код выхода, а не на вывод Claude Code?

Резюме модели на естественном языке может быть неточным, а код выхода — это определённый результат, который выдаёт инструмент тестирования. В руководстве производителя прямо сказано: при расхождении ориентируйтесь на код выхода — 0 означает, что всё прошло, ненулевое значение — что есть ошибки.

Q3: Нужно ли добавлять /v1 к адресу подключения Claude Code?

Нет. Claude Code работает по нативному протоколу Anthropic, адрес — `https://api.apiyi.com`, а с `/v1` получится `/v1/v1/messages`. Только OpenAI-совместимые клиенты используют адрес с `/v1`.

Q4: Где должен храниться токен Apidog?

На локальной машине достаточно `apidog login`. В руководстве производителя прямо требуют не писать `—access-token` в `CLAUDE.md` и не помещать токен в этот файл, чтобы он не утёк вместе с репозиторием кода.

Q5: Как начать тестировать видеоинтерфейс через Seedance?

Зарегистрируйтесь на APIYI apiyi.com, создайте токен в группе `SeeDance2`, настройте запросы на отправку и проверку по документации Seedance, а в сценарий Apidog добавьте проверки: ID задачи, явно заданная длительность, классификация кодов ошибок и две записи о списании средств. Бесплатная тестовая квота для новых пользователей поможет прогнать первый сценарий.

Q6: Claude Code пишет, что сценарий не найден, — что делать?

Сначала проверьте, какая команда реально выполняется в терминале, затем вернитесь в `CLAUDE.md` и проверьте ID сценария и ID окружения — обязательно скопируйте их заново со страницы CI/CD этого сценария в Apidog, не давайте модели догадываться. Для проектов в европейском регионе также проверьте, добавлен ли `—api-base-url api.eu.apidog.com`.

Q7: Какие ограничения есть у этого подхода?

Во-первых, двойная оплата: Claude Code и тестируемый интерфейс каждый расходует токены. Во-вторых, с разрешениями нужно быть сдержанным — на локальной машине разрешайте только `Bash(apidog run *)`. В-третьих, блокировки модерации и эталонные фото реальных лиц — это границы комплаенса: их можно только распознавать и обрабатывать заранее, нельзя строить кейсы, обходящие ограничения.


Автоматизированное тестирование API Claude Code: главное

  • Фиксируем команду: записываем apidog run -t -e -r cli в CLAUDE.md, и в каждой сессии выполняем одну и ту же команду.
  • Судья — код выхода: 0 — успех, не 0 — провал; если вербальный вывод расходится с кодом выхода, верим коду выхода.
  • Изоляция токенов: логинимся локально через apidog login; ни токен, ни --access-token не попадают в CLAUDE.md.
  • Минимизация прав: разрешаем только Bash(apidog run *); параметр пропуска подтверждений — только для CI.
  • Различаем адреса: Claude Code использует нативный адрес без /v1, а /v1 — только в OpenAI-совместимом режиме.
  • Проверки для видео: ID задачи, явно заданная длительность, 400 и категория PUBLIC_, суммарная стоимость по двум записям журнала.
  • С чего начать: создаём в APIYI отдельные токены для групп ClaudeCode и SeeDance2 и прогоняем первый сценарий на бесплатном лимите.

Итог

Автоматизированное тестирование API Claude Code вместе с Apidog — суть в трёх вещах:

  1. Команды и правила — в файлах: CLAUDE.md хранит команду запуска, правила оценки и запреты, а токен достаётся apidog login.
  2. Последнее слово — за кодом выхода: сохраняем вывод -r cli и сверяем команду, код выхода и ID в том порядке, который даёт документация провайдера.
  3. Проверки должны соответствовать реальной тарификации: для асинхронного видеоинтерфейса проверяем состояние задачи, отличаем ошибку параметров от блокировки модерацией, суммируем две записи о списании и явно передаём длительность.

Совет: сначала прогоните весь цикл на самом простом сценарии с текстовым интерфейсом, а потом постепенно добавляйте проверки для асинхронных интерфейсов вроде Seedance. Рекомендую через APIYI apiyi.com управлять токенами и расходом Claude Code и тестируемых моделей из одного аккаунта — затраты по обеим сторонам видны сразу, и это удобно для постоянной оптимизации расходов на тесты.


📚 Справочные материалы

  1. Руководство от Apidog: использование Apidog CLI в Claude Code. Автор — INEZA Felin-Michel; дата версии — по отображению на сайте.
  2. Ссылка: apidog.com/blog/apidog-cli-in-claude-code
  3. Описание: источник о том, как писать CLAUDE.md, о правилах кодов выхода, настройке разрешений и порядке проверки

  4. Официальное описание Apidog CLI: позиционирование CLI для Agent и CI, а также региональные параметры

  5. Ссылка: docs.apidog.com/en/introduction-to-apidog-cli-605134m0
  6. Описание: включает пояснение по --api-base-url для европейского региона

  7. Документация APIYI Seedance 2: ID моделей, группы, тарификация и правила модерации

  8. Ссылка: docs.apiyi.com/api-capabilities/seedance2/overview
  9. Описание: основа для построения проверок видео в этой статье

  10. Сводная таблица цен на модели APIYI: цены по объёму для каждой модели и группы

  11. Ссылка: docs.apiyi.com/models
  12. Описание: модели и цены — по актуальному содержимому этой страницы

  13. Описание протоколов APIYI: разница между нативным адресом Anthropic и совместимым адресом OpenAI

  14. Ссылка: docs.apiyi.com/llms.txt
  15. Описание: объясняет, почему адрес Claude Code не может содержать /v1

Автор: техническая команда APIYI
Техническая связь: приглашаем связаться с нами на главной странице сайта APIYI; дополнительные материалы доступны в центре документации docs.apiyi.com

Оставьте комментарий