В основе работы рекомендательных систем лежат алгоритмы, моделирующие пользовательское поведение исходя из той информации, которая указана в профиле человека. Традиционные рекомендательные системы используют только структурированные и текстовые данные. Исследователи НИУ ВШЭ в Нижнем Новгороде и Санкт-Петербургского отделения Математического института имени В.А. Стеклова РАН разработали модель, которая использует для таких задач фотографии.
«На мобильном устройстве каждого человека хранится огромное количество фотоснимков, которые можно использовать для определения его увлечений, а также предпочтений в еде, одежде, автомобилях. Использование современных методов распознавания фотографий в галерее смартфона позволяет решить проблему “холодного старта”, которая случается у новых пользователей. Другими словами, если человек не совершал покупок, не смотрел рекомендованные фильмы, система о нем ничего не знает и не может что-либо предложить», — считает один из авторов статьи, профессор НИУ ВШЭ Андрей Савченко.
Однако, как отмечают исследователи, обработка фотографий требует защиты конфиденциальности пользователей. Большинство фотографий содержат персональные данные, обработку которых человек может запретить на удаленном сервере. Следовательно, аналитические системы должны быть установлены на самом устройстве. А это технически сложно реализуемая задача, так как для обработки одного изображения сверхглубоким сверхточным нейронным сетям (CNN), которые применяются в такой обработке, требуется много времени и энергии.
Авторы статьи предложили новый метод, который позволяет быстро находить объекты, лица и определенные сцены и с высокой точностью распознавать события на фотографиях за счет одновременного анализа визуальных признаков и классификации найденных объектов с помощью нейронных сетей небольшого размера, специально разработанных для мобильных устройств. На обработку одной фотографии в них уходит от 30 до 100 мс.
За распознавание объектов и лиц отвечает детектор объектов, за определение сцен — вторая нейронная сеть-классификатор. В исследовании использовались наборы данных PEC (Photo Event Collection) и WIDER (Web Image Dataset for Event Recognition). PEC содержит 14 классов сцен (дни рождения, свадьбы, праздники и др.), WIDER — 61 класс (встречи, танцы, пресс-конференции и др.).