Дефекты поверхностей

Разработаны универсальные алгоритмы, которые распознают дефекты на любом материале, любых указанных пользователем видов. Разработан и реализован универсальный подход к поиску дефектов, то есть не по отдельной модели на каждый материал (дерево, сталь, бетон, мрамор и так далее, материалом множество), а одну модель для всех материалов. Качество, достигаемое такой моделью, будет меньше, но она не будет требовать дообучения под каждую конкретную задачу, хотя мы не исключаем эту возможность и добавляем соответствующий функционал.

Архитектура универсальной модели основана на классической сети VGG19, признаки которой хорошо отражают паттерны на изображении. Используются 4 сверточных слоя предобученной сети VGG19, затем идут два обучаемых сверточных слоя, а затем два полносвязных слоя. Были проанализированы методы нахождения дефектов и отобраны данные для этой задачи. Эксперименты проводились на фотографиях дерева , металла , мрамора и разных поверхностей и предметов , статистики по этим наборам изображений представлены в таблице Таблице 1

Сеть была обучена на тренировочных частях данных о дефектах дерева и стали и протестирована на их тестовых частях по достигаемой точности (метрике F1). Также сеть была протестирована на разных типах поверхностей. Результаты представлены в Таблице 2.

Как можно видеть из таблицы, точность нахождения дефектов на дереве и металле больше 0,7. Дефекты на мраморе визуально похожи на дефекты на дереве, модель не обучалась на этом наборе изображений и никогда не видела поверхность мрамора, тем не менее смогла предсказать наличие и класс дефектов с точность более 0,7. На наборе изображений разнообразных предметов и поверхностей достигается точность 0,55-0,65, что вызвано их непохожестью на обучающую выборку.

Ожидаемая точность по F1-мере достигнута, но не для всех видов поверхностей, что требует дальнейшего улучшения модели.

В рамках следующего этапа планируется доработать архитектуру модели и определять, сколько нужно данных для получения точность более 0,75.

Примеры

Дефекты жидкостей

В рамках модуля обнаружения дефектов на жидкости рассмотрено три типа жидкостей: лакокрасочное покрытие, бензин и продукты флотации. Для первых двух типов жидкостей применялся детектор YOLOv8, примеры представлены на рисунке. Для детекции пузырей, возникающих в процессе флотации использована модель U-Net, результаты представлены на рисунке

Обнаружение пузырьков на лакокрасочном покрытии	Обнаружение разливов бензина на воде

Обнаружение крупных пузырьков во время флотации

Таблица 3 представлены результаты, полученные для трех типов жидкостей, а также размеры обучающих образцов.