14 октября TypeSafe AI представила Jev 1.14. Компания ожидает, что самый заметный прирост будет в работе с разными языками. Вместе с новой версией открыли три экспериментальные возможности: изображения, поиск объекта на изображении и увеличенный контекст.
Экспериментальные функции включаются флагами с названием Danger Zone. TypeSafe собирается развивать их и в следующих моделях, но пока не рекомендует использовать там, где ошибка ломает рабочий процесс.
Если вы ещё не работали с Jev, сначала прочитайте наш разбор модели. Jev получает состояние и вопросы с заранее заданной формой ответа. Приложение использует результат модели в своей логике вместо свободного текста.
Почему часть функций спрятана за флагами
TypeSafe разделяет стабильные возможности для автоматизации и ранние функции для экспериментов. Стабильная часть должна пройти внутренние проверки качества. Ранние функции компания выпускает раньше, чтобы разработчики могли попробовать новые сценарии и показать, где модель ошибается.
Такой доступ не означает готовность к production. TypeSafe считает поведение экспериментальных функций слишком неровным для рабочих систем. Поэтому разработчик включает каждую из них явно.
Jev теперь принимает изображения
Поддержка изображений работает и в jev-1.13.0, хотя TypeSafe объявила о ней только сейчас. Изображение передаётся в верхнеуровневом поле assets. В state, instructions или criteria ставится его строковый идентификатор.
Функция включается заголовком:
TypeSafe-Danger-Zone-Images: trueВ документации по изображениям TypeSafe описывает формат запроса и ограничения. Компания предупреждает, что Jev, как и другие модели, хуже справляется с изображениями, чем с чистым текстом. Сложную проверку лучше разбить на несколько простых вопросов и измерить качество каждого отдельно.
Это расширяет набор возможных задач. Например, приложение может проверить наличие элемента на фотографии или выбрать категорию изображения. Решение о дальнейших действиях всё равно остаётся в коде приложения.
Новый тип box возвращает координаты объекта
В Jev 1.14 появился тип box. Он возвращает одну прямоугольную область на изображении. Ответ сохраняет заданную форму: модель не подменяет координаты пояснением или другим типом данных.
box отличается от прежних примитивов Jev. Choice, Score и Noul помогают программе принять решение. box извлекает пространственный результат, который можно передать следующему шагу обработки изображения.
TypeSafe включает box только для jev-1.14.0. Запросу также нужен заголовок TypeSafe-Danger-Zone-Images: true. Формат опубликован в документации типа.
box вернёт координаты, даже если нужного объекта на изображении нет. TypeSafe советует рядом задать вопрос Noul о наличии объекта. Для своей проверки мы бы добавили частично закрытые объекты, несколько подходящих областей и изображения без нужного объекта.
Ограничение контекста можно снять
Jev технически принимает больше контекста, чем TypeSafe разрешала в production. Компания держала лимит, потому что качество моделей падает по мере роста входа. Теперь увеличенный контекст можно включить заголовком:
TypeSafe-Danger-Zone-Long-Context: trueTypeSafe по-прежнему советует сокращать вход. Большое окно удобно, когда материал нельзя разделить без потери связей. Оно не избавляет от проверки того, находит ли модель нужные факты в начале, середине и конце запроса. Текущие ограничения перечислены в документации модели.
Что изменилось в самой модели
jev-1.14.0 доступна через имя jev-preview. TypeSafe описывает релиз как серию небольших улучшений и ожидает самый заметный прирост в работе с разными языками.
Компания планировала перевести jev-latest на 1.14 через неделю после публикации анонса. jev-1.13.0 останется доступна ещё некоторое время. TypeSafe обещает предупредить за 60 дней до перевода 1.13 в статус deprecated и за 30 дней до такого же изменения для 1.14. Политику устаревания версий компания ещё готовит.
Для production безопаснее закрепить точную версию, прогнать старую и новую модели на одном наборе данных и только потом менять алиас. Особенно это касается многоязычных запросов: общее улучшение не гарантирует одинаковый результат для каждого языка и типа вопроса.
Запросы можно добровольно открыть TypeSafe
В консоли появилась настройка организации, которая разрешает TypeSafe читать и анализировать входы и выходы для поиска слабых мест и разбора ошибок. Она действует для всех участников организации. Компания пишет, что не будет обучать модель на этих запросах. Согласие должно помочь её инженерам воспроизводить проблемы конкретного сценария.
Перед включением нужно проверить, какие данные уходят в запросе и разрешают ли правила продукта передавать их поставщику. Обещание не использовать данные для обучения не отвечает на вопросы хранения, доступа и удаления. Их следует сверить с договором и политикой обработки данных.
Как TypeSafe измеряет качество
В анонсе есть внутреннее сравнение моделей. TypeSafe не считает его универсальным тестом и перечисляет ограничения методики:
- набор и способ оценки будут меняться;
- собственные проверки на данных продукта важнее опубликованного графика;
- в сравнении участвуют только модели с открытыми весами;
- методика может быть выгодна Jev, поскольку её создала сама TypeSafe.
Такой график подходит для выбора кандидатов на тест. Модель лучше выбирать по ошибкам на собственных данных, времени полного запроса и стоимости обработки.
Что проверять перед обновлением
Начните со стабильной части Jev 1.14 и сравните её с закреплённой версией 1.13. Для каждого вопроса сохраните вход, распределение ответов и итоговое действие приложения. Отдельно проверьте примеры на тех языках, которые встречаются в продукте.
Изображения, box и длинный контекст пока стоит запускать параллельно рабочему процессу, без автоматического выполнения действий. Так можно собрать ошибки и понять, какие случаи требуют человека или обычной проверки в коде.
Флаги Danger Zone полезны для прототипа. В production их стоит переносить только после собственного набора тестов, закрепления версии модели и явного поведения приложения при сомнительном ответе.