Принцип HOI-детекции включает несколько этапов. Сначала система идентифицирует все объекты на фото или видео, затем анализирует их взаимное расположение: насколько близко они друг к другу находятся, как двигается человек, контактирует ли он с другими предметами. После этого алгоритмы определяют тип взаимодействия на основе информации о позе человека и контекста самой сцены. В итоге модель генерирует описание, например, «открывает дверь», «сидит на диване», «держит в руках телефон».
Сложность HOI-детекции заключается в том, что иногда одно и то же действие может выглядеть по-разному или внешне одинаковые движения могут означать совершенно противоположные намерения человека. К тому же важно учитывать все обстоятельства взаимодействия и количество объектов в кадре.
Постоянное обучение и добавление новых контекстов позволяет совершенствовать системы компьютерного зрения, чтобы умные устройства не только видели, что происходит, но и понимали скрытые смыслы. Также создаются архитектуры, которые лучше учитывают отношения между найденными объектами.
HOI-детекция используется на промышленных предприятиях для упрощения навигации и предотвращения травм, в сфере торговли для анализа поведения клиентов. ИИ-модели все чаще выступают в качестве помощника, который, например, подсказывает новичку на складе, куда идти, или аналитика, который видит момент сомнения покупателя в магазине.