Прототип от исследователей Facebook Reality Labs демонстрирует новый метод ввода текста с помощью отслеживания рук без использования контроллеров. Система рассматривает руки и пальцы как своего рода предиктивную клавиатуру, которая использует щипковые жесты для выбора групп букв.
Ввод текста имеет решающее значение для многих рабочих задач, и это по-прежнему является проблемой для AR и VR гарнитур. Да, вы можете сидеть перед клавиатурой, но при использовании гарнитуры VR вы не увидите саму клавиатуру. Для некоторых это не проблема, но для большинства пользователей ввод текста становится настоящим испытанием. Даже для продвинутых пользователей (или для AR гарнитур, где клавиатура видна) необходимость сидеть перед клавиатурой держит их прикованными к столу, резко ограничивая свободу, которая обычно присуща гарнитурам с отслеживанием движения.
Голосовой ввод — один из вариантов, но по нескольким причинам проблематичен. Во-первых, не хватает конфиденциальности, и каждый, кто стоит рядом с вами, будет не только слышать, что вы говорите, но и слышать все, что вы вводите. Другая проблема заключается в том, что диктовка — это несколько иной способ мышления, нежели набор текста, и она не очень хорошо подходит для многих повседневных задач по написанию текста.
Виртуальные клавиатуры — это еще один вариант — где вы используете пальцы, чтобы тыкать плавающими клавишами, но они слишком медленные для серьезных задач по набору текста и не имеют физической обратной связи.
Исследователи Facebook Reality Labs создали прототип ручного ввода текста, разработанный для AR и VR гарнитур, который позволяет выкинуть клавиатуру в том виде, в каком мы ее знаем.
Вместо того, чтобы прикасаться к клавишам на клавиатуре, к каждому пальцу прикрепляются группы клавиш. Вы не выбираете конкретную букву, а щелкаете пальцем, соответствующим той или иной цветовой группе, содержащей нужную букву. В дальнейшем система пытается предсказать, какое слово вы хотите написать, исходя из контекста, подобно мобильной клавиатуре, работающей методом скольжения. Исследователи назвали систему PinchType.
PinchType решает многие проблемы с типичными виртуальными клавиатурами и голосовым вводом. Она тихая, приватная и выглядит намного быстрее, чем «hunt-and-peck» на плавающей виртуальной клавиатуре. Он также обеспечивает обратную связь, потому что вы можете чувствовать, когда прикасаетесь пальцами друг к другу.
Исследователи поделились некоторыми первоначальными результатами тестирования системы:
В предварительном исследовании, в котором приняли участие 14 человек, мы изучили скорость и точность работы PinchType при первом использовании, а также физический комфорт по сравнению с виртуальной клавиатурой, расположенной в воздухе. После ввода 40 фраз большинство людей сообщили, что PinchType более удобен, чем виртуальная клавиатура. Большинство участников достигли средней скорости 12.54 WPM, или 20.07 WPM без учета времени, потраченного на исправление ошибок. Это значительно лучше по сравнению с другими методами виртуального ввода текста.
Однако есть и недостатки. Система основана на точном отслеживании движения руки, и одна из ее самых проблемных сторон — очень часто пальцы оказываются закрыты тыльной стороной руки. К примеру если пользователь использует свой мизинец или безымянный палец.
Скорее всего, прототип PinchType был создан с помощью технологии отслеживания движения рук с помощью внешних камер гарнитуры. Придется подождать, пока не будут опубликованы все подробности о системе, чтобы узнать, полагают ли исследователи, что эти окклюзионные ситуации ставят под вопрос всю систему отслеживания движения рук.
Работа была опубликована в рамках CHI 2020, конференции, посвященной взаимодействию человека и компьютера.
