В части I этой статьи мы обсудили основы точности распознавания изображений.
В этой части мы дадим вам более глубокое понимание того, как мы рассчитываем уровень точности, и предоставим вам формулу, которую мы обычно используем для расчета этого показателя в проектах клиентов. Вы также узнаете об особых аспектах расчетов по нашей формуле, а также о том, как мы справляемся с различными проблемами, возникающими во время расчетов.
Какова общая формула для расчета точности распознавания изображений?
Как правило, формула для расчета точности распознавания изображений выглядит следующим образом:
100% - процент ошибок нейронных сетей в ходе анализа.
Точность рассчитывается для определенного количества изображений, содержащих распознанные товары. Предположим, система обнаруживает и идентифицирует товары на тысяче изображений. Следующим шагом в этом процессе является подсчет количества ошибок, допущенных компьютером. Обычно одно изображение содержит до 30-50 товаров, в зависимости от расстояния до полки, с которой было снято изображение. Это значит, что 1000 изображений содержат 30-50 тысяч товаров.
Чтобы определить уровень точности распознавания изображений, нужно оценить, сколько раз нейронные сети неправильно обнаруживают и распознают продукты, или, вообще говоря, нужно проверять каждый продукт на каждом изображении и определять, правильно ли он распознан.
Эта задача обычно выполняется вручную хорошо проинструктированным персоналом, нанятым поставщиком для проекта, или заказчиком в составе собственной команды. Еще один вариант, широко используемый как вендорами, так и заказчиками, — нанять стороннюю компанию, специализирующуюся на поддержке таких проектов.
Наши клиенты часто спрашивают нас, почему нейронные сети, используемые в платформе Inspector Cloud, не занимаются самодиагностикой, или, строго говоря, почему точность распознавания изображений не может быть рассчитана автоматически без участия третьей стороны. Объясняем, что если бы нейронные сети могли обнаруживать ошибки, они бы обязательно их исправили. Но даже когда модели нейронных сетей хорошо обучены, они все равно не в состоянии сделать точную самопроверку на наличие ошибок.
Значительное количество ошибок, допускаемых нейронными сетями при анализе изображений, связано с изменениями дизайна товаров. Ситуации, в которых нейронные сети могут ошибаться, включают новую упаковку регулярно выпускаемых товаров и новые продукты производителя.
При работе над проектами клиентов мы часто сталкиваемся с ситуациями, когда нейросетевые модели, интегрированные в нашу платформу, еще не обучены распознавать новые продукты, так как они не добавлены в каталог товаров. Например, некоторые продукты могут продаваться только в определенных регионах. Единственное решение избежать негативного исхода — вовремя добавлять все обновления в каталог товаров. Заказчик несет ответственность за эту часть.
Как мы рассчитываем точность распознавания изображений в Inspector Cloud?
Мы разработали собственный подход к расчету точности распознавания изображений. Мы объясним, почему мы используем его в следующих частях.
Согласно нашему подходу, точность распознавания изображений можно рассчитать по следующей формуле:
1 - (количество ошибок)/(общее количество товаров в обработке) * 100%
Чем меньше ошибок, тем ближе уровень точности к 100%. Чем выше количество ошибок, тем ниже уровень точности.
Для более глубокого понимания того, что такое точность распознавания изображений, следует пояснить некоторые аспекты формулы. Большинство из них мы обычно обсуждаем с заказчиками в процессе внедрения и эксплуатации нашего решения.
Большинство наших клиентов ставят перед перед нашим приложением задачу распознавания только товаров самого клиента.
В то же время клиентам может потребоваться распознавать все товары на полках. Задача распознавания товаров конкурентов имеет высокую важность и является действительно сложной, так как количество характеристик конкурентных товаров, доступных для распознавания изображения, меньше по сравнению с ситуациями, когда необходимо идентифицировать только собственные товары клиента. Эти характеристики могут включать только категорию товара, бренд и цену.
Еще одна задача, считающаяся сложной при распознавании изображений, — определение размера товара. Наиболее часты ошибки в определении размера. Есть категории товаров, для которых идентификация размера не нужна. Для них более чем достаточно выявить только наличие этих товаров на полках. Для задач такого рода точность выше.
Наших клиентов обычно очень беспокоит точность распознавания изображений для товаров собственных брендов, так как эта характеристика используется для расчета премий для торговых представителей.
Поэтому в первую очередь нашу формулу мы применяем для товаров заказчика. На первом этапе процедура предполагает распознавание товаров на изображениях, а затем подсчитывается количество ошибок, допущенных нейронными сетями. После этого эта цифра делится на общее количество товаров на фото. Результатом является уровень точности распознавания изображений для продуктов заказчика в процентах.
Еще один аспект формулы касается случаев, когда даже человек не может назвать товар на изображении. Эта ситуация довольно распространена и мы наблюдаем это регулярно. Продукт на полке может быть сфотографирован таким образом, что практически невозможно определить, что это такое. Согласно нашему подходу, мы исключаем из расчета нераспознанные товары, так как нет возможности понять, является ли это ошибкой нейросетей. Это означает, что наше решение не считает неопознанный продукт ошибкой.
А если товар невозможно идентифицировать, так как в каталоге товаров нет информации о нем из-за нового дизайна упаковки, или сам товар новый? В этом случае приложение не будет распознавать продукт. Однако мы собираем данные о неизвестных продуктах. Эти случаи мы обсуждаем с клиентами отдельно, так как их нельзя квалифицировать как ошибки, так как нейросеть не имеет данных о продукте. В результате случай с неизвестными продуктами можно рассматривать как случай с неполными данными, который требует скорейшего решения.
Что дальше
В части III вы узнаете об информационных панелях, доступных на платформе Inspector Cloud, а также о типах ошибок.
В этой части мы дадим вам более глубокое понимание того, как мы рассчитываем уровень точности, и предоставим вам формулу, которую мы обычно используем для расчета этого показателя в проектах клиентов. Вы также узнаете об особых аспектах расчетов по нашей формуле, а также о том, как мы справляемся с различными проблемами, возникающими во время расчетов.
Какова общая формула для расчета точности распознавания изображений?
Как правило, формула для расчета точности распознавания изображений выглядит следующим образом:
100% - процент ошибок нейронных сетей в ходе анализа.
Точность рассчитывается для определенного количества изображений, содержащих распознанные товары. Предположим, система обнаруживает и идентифицирует товары на тысяче изображений. Следующим шагом в этом процессе является подсчет количества ошибок, допущенных компьютером. Обычно одно изображение содержит до 30-50 товаров, в зависимости от расстояния до полки, с которой было снято изображение. Это значит, что 1000 изображений содержат 30-50 тысяч товаров.
Чтобы определить уровень точности распознавания изображений, нужно оценить, сколько раз нейронные сети неправильно обнаруживают и распознают продукты, или, вообще говоря, нужно проверять каждый продукт на каждом изображении и определять, правильно ли он распознан.
Эта задача обычно выполняется вручную хорошо проинструктированным персоналом, нанятым поставщиком для проекта, или заказчиком в составе собственной команды. Еще один вариант, широко используемый как вендорами, так и заказчиками, — нанять стороннюю компанию, специализирующуюся на поддержке таких проектов.
Наши клиенты часто спрашивают нас, почему нейронные сети, используемые в платформе Inspector Cloud, не занимаются самодиагностикой, или, строго говоря, почему точность распознавания изображений не может быть рассчитана автоматически без участия третьей стороны. Объясняем, что если бы нейронные сети могли обнаруживать ошибки, они бы обязательно их исправили. Но даже когда модели нейронных сетей хорошо обучены, они все равно не в состоянии сделать точную самопроверку на наличие ошибок.
Значительное количество ошибок, допускаемых нейронными сетями при анализе изображений, связано с изменениями дизайна товаров. Ситуации, в которых нейронные сети могут ошибаться, включают новую упаковку регулярно выпускаемых товаров и новые продукты производителя.
При работе над проектами клиентов мы часто сталкиваемся с ситуациями, когда нейросетевые модели, интегрированные в нашу платформу, еще не обучены распознавать новые продукты, так как они не добавлены в каталог товаров. Например, некоторые продукты могут продаваться только в определенных регионах. Единственное решение избежать негативного исхода — вовремя добавлять все обновления в каталог товаров. Заказчик несет ответственность за эту часть.
Как мы рассчитываем точность распознавания изображений в Inspector Cloud?
Мы разработали собственный подход к расчету точности распознавания изображений. Мы объясним, почему мы используем его в следующих частях.
Согласно нашему подходу, точность распознавания изображений можно рассчитать по следующей формуле:
1 - (количество ошибок)/(общее количество товаров в обработке) * 100%
Чем меньше ошибок, тем ближе уровень точности к 100%. Чем выше количество ошибок, тем ниже уровень точности.
Для более глубокого понимания того, что такое точность распознавания изображений, следует пояснить некоторые аспекты формулы. Большинство из них мы обычно обсуждаем с заказчиками в процессе внедрения и эксплуатации нашего решения.
Большинство наших клиентов ставят перед перед нашим приложением задачу распознавания только товаров самого клиента.
В то же время клиентам может потребоваться распознавать все товары на полках. Задача распознавания товаров конкурентов имеет высокую важность и является действительно сложной, так как количество характеристик конкурентных товаров, доступных для распознавания изображения, меньше по сравнению с ситуациями, когда необходимо идентифицировать только собственные товары клиента. Эти характеристики могут включать только категорию товара, бренд и цену.
Еще одна задача, считающаяся сложной при распознавании изображений, — определение размера товара. Наиболее часты ошибки в определении размера. Есть категории товаров, для которых идентификация размера не нужна. Для них более чем достаточно выявить только наличие этих товаров на полках. Для задач такого рода точность выше.
Наших клиентов обычно очень беспокоит точность распознавания изображений для товаров собственных брендов, так как эта характеристика используется для расчета премий для торговых представителей.
Поэтому в первую очередь нашу формулу мы применяем для товаров заказчика. На первом этапе процедура предполагает распознавание товаров на изображениях, а затем подсчитывается количество ошибок, допущенных нейронными сетями. После этого эта цифра делится на общее количество товаров на фото. Результатом является уровень точности распознавания изображений для продуктов заказчика в процентах.
Еще один аспект формулы касается случаев, когда даже человек не может назвать товар на изображении. Эта ситуация довольно распространена и мы наблюдаем это регулярно. Продукт на полке может быть сфотографирован таким образом, что практически невозможно определить, что это такое. Согласно нашему подходу, мы исключаем из расчета нераспознанные товары, так как нет возможности понять, является ли это ошибкой нейросетей. Это означает, что наше решение не считает неопознанный продукт ошибкой.
А если товар невозможно идентифицировать, так как в каталоге товаров нет информации о нем из-за нового дизайна упаковки, или сам товар новый? В этом случае приложение не будет распознавать продукт. Однако мы собираем данные о неизвестных продуктах. Эти случаи мы обсуждаем с клиентами отдельно, так как их нельзя квалифицировать как ошибки, так как нейросеть не имеет данных о продукте. В результате случай с неизвестными продуктами можно рассматривать как случай с неполными данными, который требует скорейшего решения.
Что дальше
В части III вы узнаете об информационных панелях, доступных на платформе Inspector Cloud, а также о типах ошибок.