Together AI анонсировала Together Compiler - систему, где ИИ-агенты непрерывно оптимизируют работу открытых моделей на стороне сервера. В компании называют её первым шагом к тому, что она именует Polymorphic Inference: инференс подстраивается под новые архитектуры моделей, меняющийся трафик и новые чипы, а не живёт на одной зафиксированной конфигурации.
Что делает Together Compiler
Together описывает инструмент как цикл, в котором настройка инференса считается задачей поиска для агентов, а не классической задачей трансляции кода компилятором. Рой агентов работает с постоянным движком, который позволяет быстро перебирать варианты. По словам компании, система уже работает в проде на части самых популярных serverless-эндпоинтов и нашла дополнительный выигрыш даже в коде, который до этого был сильно оптимизирован. Саму практику компания называет Continuous Compilation. Раньше под новую нагрузку приходилось писать новые ядра вручную; теперь, как утверждается, система сама подстраивается под новую форму трафика.
Цифр по скорости или стоимости в источнике нет, поэтому размер улучшений не подтверждён.
Почему, по мнению Together, статичных настроек мало
В публикации сказано, что типовые рецепты для open-source-инференса поставляются с одной настроенной конфигурацией, а в другой обстановке она может не подойти. Приводится пример ядер для mixture-of-experts: на случайных токенах они работают хорошо, но на реальном трафике результат может не повториться. Там же отмечено, что 80% трафика OpenRouter приходится на модели, выпущенные за последние три месяца, а десять самых популярных открытых моделей построены каждая на своей архитектуре. Свой прежний опыт с мегаядрами Together считает уроком: сливать всё в одно ядро в такой среде - неверная цель.
Что доступно сейчас и что будет позже
- Together Compiler доступен конечным клиентам в ограниченной бете, доступ выдают по запросу.
- Вскоре клиенты смогут оптимизировать выделенные эндпоинты под свои нагрузки одним нажатием кнопки.
- В исследовательском плане также: спекулятивное декодирование, адаптирующееся к каждому запросу; роутер, распределяющий запросы между разными развёртываниями; дообучение открытых моделей под собственные инструменты клиента; маршрутизация между несколькими моделями с учётом нагрузки.
Дат, цен и названий тарифов ни для одного из этих пунктов не приводится.
Практический вывод
Анонс прежде всего показывает, как Together собирается сохранять высокую скорость инференса открытых моделей, пока модели быстро сменяют друг друга. Командам, у которых на Together работают боевые нагрузки на открытых моделях, стоит рассматривать бету как вариант для оценки и тестировать её на собственном трафике: заявления принадлежат вендору и опубликованы без бенчмарков.