Фаза применения обученной AI-модели к новым, ранее не виданным входным данным для получения прогноза или результата. Это процесс "вывода", когда модель, получив запрос (промпт), вычисляет и генерирует ответ на основе своих параметров.
Инференс — это процесс, при котором уже обученная модель машинного обучения используется для выполнения конкретной задачи, то есть для генерации предсказаний или ответов на новые, ранее не виденные данные.
Простыми словами, если обучение — это 'учёба' модели, то инференс — это её 'работа' после завершения обучения. Во время инференса модель получает входные данные (например, текстовый запрос, изображение или числовые показатели) и, используя полученные в процессе обучения знания и паттерны, выдаёт соответствующий результат. Это может быть классификация объекта на изображении, генерация текста, перевод, прогнозирование значений или ответ на вопрос.
Основная цель инференса — применение интеллекта модели в реальных условиях. Для этого важны скорость и эффективность обработки данных, так как инференс часто происходит в режиме реального времени, например, в чат-ботах, рекомендательных системах или системах автономного вождения. Оптимизация инференса включает выбор подходящего аппаратного обеспечения, использование специализированных фреймворков и компиляторов для ускорения вычислений, а также квантизацию модели для уменьшения её размера без существенной потери точности.