Superb AI создала для LH систему классификации дефектов по фото

Жилец арендной квартиры LH загружает фото трещины на стене или протечки на потолке, а искусственный интеллект за секунду определяет, в каком помещении, на каком материале и какой именно дефект возник. Систему для Корейской земельно-жилищной корпорации (LH) создала компания Superb AI, специализирующаяся на компьютерном зрении. Первый этап внедрения завершён, сейчас идёт второй этап доработки.

Масштаб и сложность классификации

В LH ежемесячно поступает около 300 тыс. фотографий дефектов, то есть примерно 4 млн в год. Раньше операторы сортировали их вручную по текстовым сообщениям и телефонным разговорам. Критерии при этом сложные: помещение, элемент и материал, тип дефекта, вид работ и тип строительства в сочетании дают более 18 тыс. вариантов. Из-за разного опыта сотрудников один и тот же дефект могли отнести к разным категориям или определить неверно.

Superb AI поручила весь процесс одной визуально-языковой модели (VLM), которая понимает изображения и текст одновременно. Обычно используют две модели: одну для поиска дефекта, другую для определения его типа. Здесь одна модель по одному снимку оценивает сразу все пять критериев, что упрощает архитектуру и снижает затраты на сопровождение. Обращения обрабатываются круглосуточно, а результат выводится текстом вместе с обоснованием решения.

Точность и дальнейшее применение

Система распознаёт типичные дефекты: трещины, протечки, повреждения, плесень и загрязнения. Если причину трудно установить по одному фото, она делает вывод на основе выученных закономерностей. Целевая точность обнаружения составляет не менее 90%, доля ошибочных и пропущенных случаев не должна превышать 10%. В компании сообщили, что поддерживают эти показатели с помощью регулярного мониторинга и проверки.

Сотрудники теперь могут сосредоточиться на обращениях, требующих решения, а не на простом приёме и сортировке. Данные о дефектах накапливаются в единой форме, поэтому можно анализировать, какие дефекты чаще встречаются по комплексам, материалам и возрасту зданий. На этой основе можно заранее проверять места с повторяющимися проблемами и определять сроки замены и ремонта изношенного оборудования в долгосрочных планах.

Гендиректор Superb AI Ким Хён Су отметил, что задачи сложной классификации и большого объёма неструктурированных данных решены одной моделью VLM. По его словам, подход применим к инспекции объектов и анализу обращений с изображениями в госуслугах.