В России разработали первую мультимодальную модель ИИ

В России разработали первую мультимодальную модель ИИ

Институт AIRI представил открытую мультимодальную языковую модель OmniFusion 1.1, первую в России, способную вести визуальный диалог и отвечать на вопросы, основываясь на изображениях, с поддержкой русского языка.

Открытый доступ к коду и весам модели позволяет использовать её для разработки как общедоступных, так и коммерческих продуктов.

OmniFusion умеет распознавать и описывать изображения, предоставляя возможность объяснить содержимое фотографии, анализировать карты помещений, распознавать текст и решать задачи, представлять формулы в LaTeX и многое другое.

Применение OmniFusion охватывает широкий спектр задач, от анализа медицинских изображений до решения логических задач. Модель уже сейчас может указывать на проблемы на медицинских изображениях, хотя для более точной диагностики требуется дополнительное обучение с участием медицинских экспертов.

На международном рынке представлены аналоги OmniFusion, в том числе LLaVA, Gemini, GPT4-Vision и другие, некоторые из которых являются закрытыми и платными. Однако OmniFusion выделяется своей открытостью, предоставляя доступ к исходному коду на GitHub, что делает её доступной для широкой аудитории разработчиков.

Модель основана на комбинации предварительно обученной большой языковой модели и визуальных энкодеров, кодирующих визуальную информацию в числовые векторы. Разработка ведется научной группой FusionBrain Института AIRI с участием специалистов из Sber AI и SberDevices.

Комментарии
Вам может быть интересно
Узнайте от разработчиков компании DST Global, как использование тестирования программного обеспечения на базе искусственного интеллекта для сферы здравоохранения может существенно повлиять на качество...
По результатам исследования, которое мы провели среди пользователей облачного Би...
Ученые, которые стояли у истоков создания искусств...
Что такое объяснимый ИИ (XAI)?XAI включает в себя ...
Проекты искусственного интеллекта могут оказаться ...
Интерактивное чтение с помощью MEMWALKER расширяет...
Исследователи из Университета Неймегена (Нидерлан...
Эта статья представляет собой анализ того, как мет...
Перейти вверх