РУКОВОДСТВО · ОБНОВЛЕНО 2026-09-15
Большие и малые AI-модели: качество, скорость и цена
Размер и рыночный класс модели влияют на способности и стоимость, но не определяют победителя в конкретной повторяемой операции.
Используйте минимальную модель, которая стабильно проходит ваш критерий качества. Компактные модели подходят классификации, извлечению и массовым шаблонным задачам; более сильные нужны сложному анализу и неоднозначным случаям. Каскад часто сочетает скорость малой модели с качеством большой.
1. Уберите спор о размере из постановки
Сначала определите input, output и допустимую ошибку. Извлечение номера счета и проектирование архитектуры требуют разных способностей. Число параметров часто не раскрывается или несопоставимо между архитектурами. Практический критерий — завершённая задача на выбранной версии, настройках и доступных инструментах.
2. Найдите зону компактной модели
Классификация по фиксированным меткам, нормализация, короткое резюме и маршрутизация часто хорошо работают на быстрой модели. Structured output и хороший prompt могут быть важнее увеличения класса. Проверьте редкие формулировки и критические ошибки: средняя точность не должна скрывать провал небольшой, но дорогой категории.
3. Найдите зону сильной модели
Длинные зависимости, незнакомый код, неоднозначные документы и многошаговое планирование могут получить заметный выигрыш. Но большая модель тоже галлюцинирует и не освобождает от источников и тестов. Reasoning и длинный output увеличивают время. Не отправляйте каждый запрос в дорогой маршрут только из-за максимума benchmark.
4. Постройте сравнение
Прогоните один набор с одинаковыми системными правилами, tools и лимитами. Измерьте task success, критические ошибки, p95, tokens и цену принятого результата. Если модели имеют разные возможности, явно отразите это. Человек оценивает вслепую там, где нет автоматического эталона, чтобы имя модели не влияло на балл.
5. Добавьте каскад
Простые случаи принимает малая модель, а спорные переходят большой после внешнего валидатора или калиброванного сигнала. Ограничьте число попыток и передавайте исходные данные без накопленного мусора. Следите за долей эскалации: её рост может означать drift трафика, ухудшение prompt или изменение маршрута.
Частые вопросы
Большая модель всегда умнее?
Она может быть сильнее в среднем, но конкретную задачу подтверждает только тест.
Для чего подходят малые модели?
Для массовых хорошо определённых операций с проверяемым выходом.
Как сравнить скорость?
Измерить p50/p95 и throughput при одинаковой нагрузке.
Что такое каскад моделей?
Переход от дешёвого маршрута к сильному при неудаче или сложности.
Можно смотреть только на цену токенов?
Нет, учитывайте ошибки, повторы и ручную работу.