Нет товаров в корзине.
Базисная модель для сегментации изображений – SAM (Segmentation Anything Model)
Некоторое время назад Meta* представила свою новую базовую модель для сегментации изображений – SAM (Segmentation Anything Mode).
Достоверная сегментация изображений одна из важнейших задач, например, для таксации леса, в сельском хозяйстве и т.д.
В настоящее время существует два основных способа сегментации изображений: интерактивная и автоматическая. Первый способ позволяет сегментировать любой класс объектов, но требует вмешательства пользователя, необходимо выделять объекты с помощью масок. Второй помогает сегментировать конкретные заданные заранее категории объектов (например, здания и автомобили), однако требует существенных объёмов размеченных вручную объектов для обучения, а также вычислительных ресурсов и технической экспертизы для обучения модели сегментации. Ни одна из этих двух методик не обеспечивает обобщённого, полностью автоматического подхода к сегментации
В чём же особенность SAM?
Главная особенность заключается в том, что SAM обучили общему пониманию того, что такое объекты.
Она способна генерировать маски изображении, в том числе для объектов и типов изображений, которые не встречались ей во время обучения. SAM достаточно обобщена, чтобы покрывать широкий спектр областей применения и может использоваться без необходимости дополнительного обучения в исходном виде в новых «предметных областях» изображений.
Вторая особенность – самый большой набор данных для обучения.
Датасет SA-1B содержит более 1,1 миллиарда масок сегментации, собранных из примерно 11 миллионов изображений. SA-1B содержит в четыреста раз больше масок, чем любой другой датасет сегментации.
Третья особенность – SAM распространяется как open-source по лицензии Apache 2.0.
Это значит, что каждый может в свободной форме использовать SAM для реализации поставленных задач, единственное, что требует данная лицензия – упоминание авторства. Сейчас код в открытом доступе располагается на GitHub, также в открытом доступе содержится SA-1В.
Каждый может попробовать внедрить использование SAM для решение своих задач, через другое open-source ПО, например QGIS.
Новая модель от META уже используется для анализа изображений, содержащих пространственную информацию. Компания ESRI уже внедрила SAM как один из инструментов анализа в свою ГИС – ArcGIS. На рисунке справа представлен пример сегментации крон деревьев от ESRI с помощью SAM.
Специалисты Aeromotus протестировали SAM на нескольких изображениях, результат представлен на фото ниже.
Сферы применения SAM
Возможности для использования SAM в различных областях очень велики. В первую очередь в тех сферах, в которых уже применяют методы компьютерного зрения в связке с дронами.
Сельское хозяйство
С помощью технологий компьютерного зрения, фермеры могут решать множество задач:
- Подсчёт объемов продукции сельскохозяйственных культур, выявление определённого вида растений, например, сорняков, мониторинг животных – данная технология может применяться для выявления заболеваний, изменения поведения или, например, родов.
- Алгоритм приложения VineView знаком с изображениями «хороших» гроздьев винограда и «плохих» и детектирует их: последние он определяет по скрученным листьям, желтизне и красным пятнам.
- Также с помощью мультиспектральных снимков и алгоритмов машинного обучения можно обнаружить поврежденную продукцию в процессе ее обработки.
Строительная отрасль и геодезия
В данной сфере методы компьютерного зрения применяют для контроля за безопасностью на строительных площадках, отслеживается эффективности работы строительной техники и персонала.
В выполнении геодезических работ SAM может стать отличным инструментом автоматической векторизации ортофотопланов.
SAM можно будет использовать для расширения возможностей приложений в различных областях, требующих поиска и сегментации любого объекта на изображении. Как заявляют сами разработчики данной модели, она создавалась как основа – компонент для более крупных или специализированных ИИ.
Заключение
Безусловно, говорить о том, насколько SAM эффективный инструмент для анализа пространственных данных ещё рано. Модель выпустили недавно, в сообществе ещё достаточного массива данных для вынесения вердикта, но открытость, гибкость SAM, возможно, позволит сильно упростить использование ИИ в сферах связанных с использованием пространственных данных.
Автор материала
Кирилл Воронцов, специалист направления геотехнологий компании Aeromotus. Имеет опыт внедрения беспилотных технологий в крупных компаниях федерального и регионального уровня. С 2021 г. реализовал более 10 проектов.
*Meta в России признана экстремистской организацией.
