Управление взглядом в играх⁠⁠

Eye tracking (айтрекинг, трекинг глаз, отслеживание глаз) – одна из тех технологий, о которой мечтали футурологи 70-х, и которая сегодня стала доступна всем и каждому. Рассказываю, как эта штуковина работает, сколько стоит и чем она полезна в играх.

Айтрекеры нашли своё практическое применение и пришли на потребительский рынок совсем недавно. Спасибо за это стоит сказать жадным до высоких CTR рекламщикам, которые использовали первые коммерческие айтрекеры для определения оптимальных форматов рекламных объявлений на веб-сайтах. Работало это всё как привычная многим тепловая карта кликов Яндекс Метрики, только вместо кликов в карту записывались точки внимания взгляда клиента.

Со временем для айтрекеров нашлись более достойные области практического применения. Технология ожидаемо оказалась крайне полезна в UX-дизайне (юзабилити интерфейсов) сайтов и приложений. Периодически предпринимаются попытки интегрировать айтрекеры в автомобили, чтобы предупреждать зазевавшегося водителя о потере контроля за дорожной обстановкой. Наконец, технологии отслеживания взгляда позволяют полностью парализованным людям реализовываться творчески и общаться, посредствам компьютерных программ.

Всё это, безусловно, очень здорово, но блог у меня игровой, поэтому дальше речь пойдёт про специфику применения айтрекеров в играх. Для начала разберёмся, как они вообще работают, а потом поговорим о целесообразности приобретения таких устройств и о потенциале их развития в области индустрии игр.

Смотри мне в глаза!

Все современные айтрекеры (их не так уж и много) работают по одному

принципу. Встроенная в устройство инфракрасная лампочка отражается на роговице глаза пользователя, в то время как камеры айтрекера производят видеозапись. Полученное изображение обрабатывается специальным алгоритмом, учитывающим расположение блика относительно зрачка (благо, что зрачок контрастирует с радужной оболочкой и легко отслеживается) и вектор его движения, который легко вычисляется при сравнении последовательности кадров. Наличие именно двух видеокамер расположенных на приличном друг от друга расстоянии обуславливается необходимостью измерения расстояния до глаз пользователя (чем острее угол – тем дальше игрок).

Разумеется, на деле всё гораздо сложнее и тонкостей великое множество. Чтобы определять место глаза пользователя в пространстве и производить дальнейшие расчёты максимально точно, айтрекер строит 3D-модель глаза (чем обуславливается неслабая нагрузка на систему). Кроме того, устройство должно одинаково точно работать при различных условиях освещения и учитывать особенности строения глаз представителей различных этносов. Так например, зрачки азиатов плохо контрастируют с их тёмной радужной оболочкой, поэтому айтрекер подсвечивает зрачки с помощью эффекта красных глаз, располагая инфракрасный свет на оптической оси зрачка. Получается обратный контраст – светлые зрачки и тёмная радужка. Таким же образом устройство действует и при недостатке освещения.

Самые первые айтрекеры требовали от пользователя строгой фиксации головы, иначе устройство просто теряло из виду глаза движущегося пользователя. Выглядели такие штуки весьма пугающе, напоминая какие-то жуткие пыточные аппараты. К счастью, современные приборы научились отслеживать траекторию движения глаз даже у не самого усидчивого пользователя, что и стало ключевым условиям для их прихода на рынок электронных развлечений.

Во что поиграть?

Стоит сразу прояснить, что в играх айтрекер никак не может тягаться с традиционными клаво-мышами и геймпадами в универсальности – никакого plug and play тут не предусмотрено. Tobii 4C – единственный айтрекер, который позиционирует себя как решение для геймеров, и тот настраивается инженерами компании в ручном режиме под каждую конкретную игру. При этом, функционал устройства радикально разнится от игры к игре и ни в коем случае не перекрывает возможности привычных средств ввода, а лишь немного расширяет их.

Несмотря на трудности в интеграции технологии список поддерживаемых игр довольно велик – 135 тайтлов

Очень часто система управления в современных играх оказывается перегруженной или недостаточно гибкой, и чем сложнее в игре стандартное управление – тем больше пользы будет от айтрекера. Те, кто играл в космосим Elite: Dangerous знают, насколько неудобно там крутить головой во время боя и таким образом оценивать тактическую обстановку. Слишком комплексная система управления кораблём не оставляет свободных пальцев под обзор. Тут-то и приходит на помощь айтрекер.

Айтрекинг в Elite: Dangerous

Чуть менее необходимые, но, однозначно, полезные функции айтрекер может выполнять и в играх попроще. По сути, у игрока появляется ещё один способ взаимодействия с миром игры, который ещё и не требует свободных конечностей. Например, пропадает необходимость каждый раз мучать мышку и двигать всё тело своего персонажа, чтобы выполнить простейшие действия (типа выбора каких-то интерактивных объектов), что, однозначно, идёт в плюс для погружения.

Айтрекинг в Deus Ex: Mankind Divided

Безусловно, айтрекер – это никакой не мастхев. Устройство стоит рассматривать к приобретению только тем, кто действительно испытывает в нём необходимость (например, хардкорным игрокам в космо или авиасимы). Разнообразить свой игровой опыт в классических играх – это тоже заманчивая перспектива, но тут уже нужно сверять свои возможности и потребности. В России Tobii 4C стоит 11 500 рублей, что, вроде как, и не гигантская сумма, но и не маленькая, учитывая довольно узкую область применения устройства.

Нельзя не упомянуть ещё и то, что Tobii 4C официально поддерживается десятой виндой, что позволяет набирать текст, переключать окна, скролить и совершать прочие привычные действия взглядом

Будущее всё ещё впереди

На данный момент сфера применения айтрекера в играх ограничивается исключительно облегчением использования управления и аккуратным расширением его возможностей, но технологии есть куда развиваться.

Некоторые аналитики (хотя их впору назвать футурологами) мечтают об интеграции технологий айтрекинга в виртуальную реальность, когда игрок сможет максимально вжиться в шкуру протагониста и взаимодействовать с NPC уже не просто от первого лица, а, по сути, на личном уровне – смотря ему прямо в глаза. А если ещё и заправить всё это онлайном, то мы получим совершенно ультимативную платформу для живых виртуальных миров. Здесь уместно будет вспомнить Ready Player One или эпизод USS Callister из последнего сезона Чёрного зеркала.

Другой вектор развития технологии менее оторван от реальности и подразумевает применение айтрекинга в качестве средства решения задач оптимизации графики. В погоне за высоким FPS разработчики идут на множество ухищрений, в том числе выключают рендеринг объектов, находящихся за пределами поля зрения игрока. Айтрекинг позволит радикально развить эти идеи, максимально увеличив детализацию именно в центре взгляда игрока (который составляет всего 8% от общего поля зрения) и постепенно снижать детализацию вместе с расфокусировкой нашего зрения. В результате можно получить многократное увеличение детализации графики в играх, одновременно со снижением их прожорливости до системных ресурсов.

***

Тема айтрекинга невероятно обширная, а я осветил её лишь в общих чертах. Зато у вас теперь есть все вводные для продолжения изысканий в самостоятельном режиме.

Другие мои материалы про технологии в игровой индустрии:

• Игры будущего глазами NVIDIA

• Как в играх делают фейковые интерьеры

• Subor Z+: китайская альтернатива PS4