В России разработали первую мультимодальную модель ИИ

Институт AIRI представил открытую мультимодальную языковую модель OmniFusion 1.1, первую в России, способную вести визуальный диалог и отвечать на вопросы, основываясь на изображениях, с поддержкой русского языка.

Открытый доступ к коду и весам модели позволяет использовать её для разработки как общедоступных, так и коммерческих продуктов.

OmniFusion умеет распознавать и описывать изображения, предоставляя возможность объяснить содержимое фотографии, анализировать карты помещений, распознавать текст и решать задачи, представлять формулы в LaTeX и многое другое.

Применение OmniFusion охватывает широкий спектр задач, от анализа медицинских изображений до решения логических задач. Модель уже сейчас может указывать на проблемы на медицинских изображениях, хотя для более точной диагностики требуется дополнительное обучение с участием медицинских экспертов.

На международном рынке представлены аналоги OmniFusion, в том числе LLaVA, Gemini, GPT4-Vision и другие, некоторые из которых являются закрытыми и платными. Однако OmniFusion выделяется своей открытостью, предоставляя доступ к исходному коду на GitHub, что делает её доступной для широкой аудитории разработчиков.

Модель основана на комбинации предварительно обученной большой языковой модели и визуальных энкодеров, кодирующих визуальную информацию в числовые векторы.