РУКОВОДСТВО · ОБНОВЛЕНО 2026-10-26
Как подготовить изображение перед отправкой vision-модели
Как уменьшить объём входа и не потерять сведения, от которых зависит ответ мультимодальной модели.
Перед отправкой изображения проверьте декодирование, ориентацию, размер в пикселях и читаемость важных деталей. Маленький файл не обязательно содержит мало пикселей, а визуально правильный предпросмотр не доказывает, что сервер учёл EXIF Orientation. Храните оригинал отдельно от производной версии для модели. Уменьшайте изображение под конкретную задачу, сверяясь с условиями выбранного API. Для скана договора сохранение мелкого текста важнее, чем минимальный объём файла любой ценой.
1. Проверьте файл до преобразования
Определите реальный формат изображения, допустимый размер файла и предельное число пикселей. Не доверяйте только расширению и значению из браузера. Обработка повреждённого или неожиданно большого изображения должна завершаться понятной ошибкой с ограничением ресурсов. Для многостраничного документа уточните, какие страницы действительно нужны в вопросе. Не отправляйте все приложения к письму автоматически, если пользователь просит разобрать только одну диаграмму или конкретную страницу.
2. Приведите ориентацию к явному виду
Фотография может содержать EXIF-метку поворота, которую разные просмотрщики учитывают по-разному. Используйте документированную операцию автоориентации вашей библиотеки и проверьте итоговый растр. Например, sharp описывает autoOrient для применения EXIF Orientation. Порядок поворота, обрезки и изменения размера влияет на результат, поэтому не меняйте его случайно при рефакторинге. Для координат выделенной области сохраняйте связь между исходным и преобразованным изображением, иначе подсветка ответа может оказаться в другом месте.
3. Сохраните сведения для вопроса
Для общего описания сцены может хватить уменьшенной версии, а для таблицы или схемы нужны читаемые подписи. При необходимости передайте общий вид и отдельную важную область, если маршрут поддерживает такой ввод. Не обрезайте заголовок, единицы измерения и пояснения к графику ради более крупного текста. Проверьте цветовые обозначения: перевод в другой формат или агрессивное сжатие может сделать различия менее заметными. Конкретные ограничения количества изображений и разрешения берите из контракта API.
4. Проверьте на одинаковых примерах
Соберите несколько типичных изображений: фото телефона, перевёрнутый скан, таблицу с мелким шрифтом и график с легендой. Сравните ответы до и после преобразования, сохраняя вопрос неизменным. Измеряйте не только размер файла, но и точность нужных полей. Уменьшение байтов само по себе не доказывает экономию токенов: правила их подсчёта зависят от модели и маршрута. Не отправляйте чувствительные метаданные и лишние фрагменты, если они не нужны для задачи.
Частые вопросы
Достаточно ли сжать JPEG сильнее?
Нет. Сжатие может ухудшить мелкий текст, не изменив разрешение. Проверяйте читаемость и требования конкретного сценария.
Почему модель видит фото повёрнутым?
Возможна разная обработка метаданных ориентации. Проверьте итоговое декодированное изображение, которое реально отправляет сервер.
Можно ли всегда уменьшать до одного размера?
Единый предел полезен как ограничение, но качество зависит от содержимого. Для текста и общей сцены могут понадобиться разные правила подготовки.
Меньше байтов означает меньше оплаты?
Не обязательно. Токенизация изображения определяется выбранной моделью и маршрутом. Проверяйте правила учёта отдельно от размера файла.