Базисная модель для сегментации изображений – SAM (Segmentation Anything Model) - метод сбора данных

Базисная модель для сегментации изображений – SAM (Segmentation Anything Model)

Некоторое время назад Meta* представила свою новую базовую модель для сегментации изображений – SAM (Segmentation Anything Mode).
Достоверная сегментация изображений одна из важнейших задач, например, для таксации леса, в сельском хозяйстве и т.д.
В настоящее время существует два основных способа сегментации изображений: интерактивная и автоматическая. Первый способ позволяет сегментировать любой класс объектов, но требует вмешательства пользователя, необходимо выделять объекты с помощью масок. Второй помогает сегментировать конкретные заданные заранее категории объектов (например, здания и автомобили), однако требует существенных объёмов размеченных вручную объектов для обучения, а также вычислительных ресурсов и технической экспертизы для обучения модели сегментации. Ни одна из этих двух методик не обеспечивает обобщённого, полностью автоматического подхода к сегментации

Базисная модель для сегментации изображений – SAM (Segmentation Anything Model) - метод сбора данных
Пример съемки леса беспилотным комплексом DJI Matrice 300 RTK + Zenmuse P1

В чём же особенность SAM?

Главная особенность заключается в том, что SAM обучили общему пониманию того, что такое объекты.

Она способна генерировать маски изображении, в том числе для объектов и типов изображений, которые не встречались ей во время обучения. SAM достаточно обобщена, чтобы покрывать широкий спектр областей применения и может использоваться без необходимости дополнительного обучения в исходном виде в новых «предметных областях» изображений.

Вторая особенность – самый большой набор данных для обучения.

Датасет SA-1B содержит более 1,1 миллиарда масок сегментации, собранных из примерно 11 миллионов изображений. SA-1B содержит в четыреста раз больше масок, чем любой другой датасет сегментации.

Базисная модель для сегментации изображений – SAM (Segmentation Anything Model) - метод сбора данных
Количество изображение SA-1B
Базисная модель для сегментации изображений – SAM (Segmentation Anything Model) - метод сбора данных
Количество размеченных масок SA-1B

Третья особенность – SAM распространяется как open-source по лицензии Apache 2.0.

Это значит, что каждый может в свободной форме использовать SAM для реализации поставленных задач, единственное, что требует данная лицензия – упоминание авторства. Сейчас код в открытом доступе располагается на GitHub, также в открытом доступе содержится SA-1В.

Каждый может попробовать внедрить использование SAM для решение своих задач, через другое open-source ПО, например QGIS.

Новая модель от META уже используется для анализа изображений, содержащих пространственную информацию. Компания ESRI уже внедрила SAM как один из инструментов анализа в свою ГИС – ArcGIS.  На рисунке справа представлен пример сегментации крон деревьев от ESRI с помощью SAM.

Базисная модель для сегментации изображений – SAM (Segmentation Anything Model) - метод сбора данных
Cегментация крон деревьев от ESRI с помощью SAM

Специалисты Aeromotus протестировали SAM на нескольких изображениях, результат представлен на фото ниже.

Базисная модель для сегментации изображений – SAM (Segmentation Anything Model) - метод сбора данных
Оригинальное изображение
Базисная модель для сегментации изображений – SAM (Segmentation Anything Model) - метод сбора данных
Результат сегментации

Сферы применения SAM

Возможности для использования SAM в различных областях очень велики. В первую очередь в тех сферах, в которых уже применяют методы компьютерного зрения в связке с дронами.

Сельское хозяйство

С помощью технологий компьютерного зрения, фермеры могут решать множество задач:

Строительная отрасль и геодезия

В данной сфере методы компьютерного зрения применяют для контроля за безопасностью на строительных площадках, отслеживается эффективности работы строительной техники и персонала.
В выполнении геодезических работ SAM может стать отличным инструментом автоматической векторизации ортофотопланов.
Базисная модель для сегментации изображений – SAM (Segmentation Anything Model) - метод сбора данных
Результат сегментации SAM через ГИС

SAM можно будет использовать для расширения возможностей приложений в различных областях, требующих поиска и сегментации любого объекта на  изображении. Как заявляют сами разработчики данной модели, она создавалась как основа – компонент для более крупных или специализированных ИИ.

Заключение

Безусловно, говорить о том, насколько SAM эффективный инструмент для анализа пространственных данных ещё рано. Модель выпустили недавно, в сообществе ещё достаточного массива данных для вынесения вердикта, но открытость, гибкость SAM, возможно, позволит сильно упростить использование ИИ в сферах связанных с использованием пространственных данных.

Автор материала

aeromotus-01
Кирилл Воронцов, специалист направления геотехнологий компании Aeromotus. Имеет опыт внедрения беспилотных технологий в крупных компаниях федерального и регионального уровня. С 2021 г. реализовал более 10 проектов.

*Meta в России признана экстремистской организацией.

Узнать цену для