Блог

Как обмануть систему распознавания изображений в ритейле (часть 1)

В первой статье о фроде в системах цифрового мерчандайзинга мы говорили о том, что такое фрод, как и почему он происходит. Этот второй пост посвящен трем методам мошенничества, которые чаще всего используются торговым персоналом.

Все последующие сценарии взяты из реальной жизни. В основном они были задуманы персоналом наших заказчиков, и нам приходилось бороться с мошенническими атаками. Поскольку у нас много клиентов по всему миру, мы заметили, что мерчандайзеры придумывают более или менее одинаковые методы фрода. Здесь мы покажем различные типы фрода, с которыми мы столкнулись.
Использование поддельного приложения камеры и чужих дубликатов фото
Мобильные приложения, которых в Google Play предостаточно, легко устанавливаются на устройства на базе Android. Эти мобильные приложения предназначены для розыгрыша людей. Приложения имеют реалистичный пользовательский интерфейс приложения камеры; однако они не предназначены для фотографирования: вместо этого они позволяют использовать поддельные изображения.

Поддельные камеры широко доступны для пользователей Android

Давным-давно, в первых выпусках продукта, у нас была системная камера, которая была интегрирована в платформу Inspector Cloud, и когда мерчендайзер собирался сфотографировать полку, открывалось приложение системной камеры. Это оказалось слабым местом продукта.
Более того, оказалось, что мерчендайзеры использовали чаты и группы для обмена изображениями друг с другом. Фактически, у них была обширная галерея изображений, которые можно было использовать практически в любой ситуации. Следовательно, все мерчендайзеры добились потрясающих результатов в конце дня.
Технически это было легко устранить. Мы внесли изменения в нашу платформу и заменили системную камеру нашим собственным программным обеспечением для камеры. Приложение позволяет нам уже сейчас успешно справляться с такого рода обманом.

Мы были удивлены, узнав, что другие подобные программные продукты, разработанные для управления той или иной частью рабочего процесса мерчандайзинга, продолжают использовать системное приложение камеры. Как мы теперь знаем, его можно легко обмануть.

Когда мы узнали об этом виде обмана, мы также разработали специальный алгоритм для проверки уникальности изображений. Поэтому мы запретили использование одного и того же изображения в одной системе, и это работало как у одного человека, так и у нескольких.

Стоит отметить, что приложения камеры и использование камеры внутри программного продукта — дело непростое, так как приложения камеры зависят от железа, могут вести себя непредсказуемо и, как следствие, могут потребовать больших вложений в разработку.

Перефотографирование с экрана другого устройства или с распечатанной фотографии
Для этого у мерчендайзеров может быть большая библиотека качественных изображений. Например, для мерчендайзера основным KPI может стать идеальная планограмма в монобрендовом холодильнике (пиво, безалкогольные напитки, молочные продукты и т. д.). Поэтому мерчендайзеры могут обмениваться качественными изображениями, на которых представлены все требуемые продукты в холодильнике. У мерчендайзера может быть два мобильных устройства; он открывает изображение с идеальной выкладкой продукции бренда на одном устройстве и делает снимки камерой второго мобильного устройства. Первый обычно является личным устройством, а второй — корпоративным.

Фотографии с экрана были легко узнаваемы до эры экрана Retina.

В худшем случае мерчендайзеры могут сфотографировать распечатанные изображения. Например, существуют мерчбуки, в которых доступны наилучшие возможные способы представления продукции бренда. Изображения из мерчбуков могут использовать мерчендайзеры, и даже в этом случае товары отлично детектируются и распознаются нейросетями.
Нам знакомы ситуации, когда мерчандайзеры могут фотографировать витрины такими, какие они есть, и если они понимают, что не достигают своих целей, то могут использовать мерчбук или картинки с экранов других устройств.

Планограмма и мерчбук тоже распознаются

В результате нам пришлось разработать нейросеть для определения того, какой метод фотосъемки использовался, будь то с экрана мобильного устройства или из бумажной книги. Мы собрали большой набор поддельных изображений от наших клиентов по всему миру, и база данных постоянно обновляется. Эти нейронные сети работают в случае распознавания изображения на сервере или в облаке и даже на мобильном устройстве. Это помогает с высокой точностью определить, было ли изображение снято на месте или с экрана другого устройства.
Товары наших клиентов могут быть размещены в магазинах различной площади, в городских и загородных районах, снимки могут быть сделаны в совершенно разных условиях (слишком много света, недостаточно света) и так далее. Мы столкнулись с ситуацией, когда снимки были сделаны камерой обычного мобильного телефона в условиях плохого освещения. Общее впечатление было такое, что это фейковая фотография. Однако расследование показало, что изображения были реальными.
Таким образом, становится очевидным, что, хотя распознавание поддельных и реальных изображений кажется простой задачей, это непростая задача. Практически невозможно отличить подделку от настоящего изображения и наоборот. Нейронные сети Inspector Cloud взвешивают результаты и на выходе показывают оценку, которая позволяет понять, с какой степенью достоверности это фальшивое или реальное изображение. Мы продолжаем пополнять базу не только примерами идеально снятых изображений с экранов устройств или с бумаги, но и добавляем реальные снимки, сделанные в условиях, далеких от идеальных. Мы оцениваем точность распознавания реальных и поддельных изображений до 98%.
Мы также знаем об аналогичной ситуации с идентификацией по лицу. Люди могут попытаться обмануть систему, надевая маски или показывая фотографии вместо реального лица. Проблема далека от решения, и поставщики систем идентификации по лицам, как правило, делают то же самое, что и мы, просто обновляют наборы данных новыми изображениями и обучают нейронные сети отличать настоящие изображения от мошеннических.
Еще одна проблема, с которой мы сталкиваемся в последние годы, заключается в том, что качество экранов мобильных устройств становится лучше и лучше. Качество изображений уже стало достаточно близким к реальной жизни. Итак, наши нейронные сети находятся в постоянной конкуренции с обманом. Если раньше для выявления мошенничества достаточно было обнаружить пиксели, то сегодня это могут быть отражения на экране или в каких-то глупых случаях человек может забыть исключить рамку экрана телефона.
Использование поддельных GPS координат, чтобы делать снимки в других магазинах
Еще до того, как технология распознавания изображений вышла на сцену, персонал пытался улучшить свои оценки с помощью этого метода. В этом сценарии мерчендайзер отмечает, что он делал снимки в одном магазине, а в реальной жизни они были из другого магазина. Причины, по которым они так себя ведут, могут быть разными, начиная от того, что в другом магазине они могут получить более высокие баллы, или ближайший магазин находится по соседству. Подводя итог, можно сказать, что это сценарий мошенничества, связанный с реальной и фиктивной геолокацией полевого персонала.
Этот способ — один из самых старых, поэтому вендоры придумали способ отслеживать геолокацию. Некоторые решения на рынке могут записывать начальную точку. Мерчендайзер (или другой специалист) должен нажать кнопку в приложении, чтобы отметить, что он начинает работу с этой точки геолокации и в определенное время. В приложении могут быть правила для персонала, например, что они могут инициировать рабочий процесс в приложении только в том случае, если они находятся в нужной точке геолокации (конечно, мы все знаем, что у GPS могут быть проблемы с точностью, этот факт обычно принимается во внимание).
Также известны случаи, когда человек использовал слабые места в системе и начинал с посещения целевого магазина, а заканчивал в другом. Такая ситуация вполне очевидна, если есть два магазина, расположенных рядом друг с другом.
Существуют также решения, которые делают записи как в начале, так и в конце посещения магазина. В Inspector Cloud у нас давно были подобные ограничения. Однако мы столкнулись с ситуацией, когда выездной специалист мог начать в целевом магазине, затем уйти в какое-то другое место и снова закончить визит в целевом магазине. И это то, что мы называем сценарием фрода следующего уровня.
В итоге мы решили перейти на использование постоянного мониторинга геолокации. В статистике супервайзеры мерчендайзеров могут видеть маршрут мерчендайзера по магазину. Мы используем так называемую технологию геофенсинга. Технология работает как виртуальный забор. Это означает, что когда мерчендайзер выходит за пределы магазина, платформа сначала уведомляет его о том, что он покинул зону. Затем система уведомляет его о времени, оставшемся до возвращения в магазин, иначе посещение будет завершено и помечено как потенциально мошенническое.
Еще один случай в рамках этого сценария — поддельный GPS. Эти приложения также довольно популярны и могут быть легко загружены из Google Play.

Нет недостатка в поддельных GPS-приложениях

Технологически этот вид фрода можно быстро обнаружить и устранить. В Inspector Cloud мы различаем, получает ли платформа данные из настоящего GPS или поддельного, и быстро блокируем пользователя. В этом случае пользователь уведомляется сообщением, которое блокирует систему и говорит, что он должен переключиться на настоящий GPS.
Итоги
Во второй части цикла о фроде мы обсудили первые три сценария обмана в системах мерчандайзинга, в том числе с использованием поддельной камеры, фотографирования с экрана другого мобильного устройства или с распечатанного изображения, а также с подделкой геолокации. Другие методы будут описаны в следующей статье!