Исследовательское подразделение AR / VR Facebook разрабатывает неинвазивную технологию сканирования мозга в качестве потенциального устройства ввода для своих будущих AR-очков.
Хотя Facebook еще не анонсировала AR очки как конкретный продукт, компания подтвердила, что разрабатывает их. В отчете Business Insider, опубликованном в начале этого года, говорится, что исходник «напоминал традиционные очки».
В блоге Facebook описывает свою конечную цель как «окончательный форм-фактор пары стильных очков дополненной реальности (AR)».
Однако основной проблемой при разработке потребительских очков AR является метод ввода. Традиционный контроллер, такой как те, что используются во многих устройствах виртуальной реальности, не подходит для очков, которые вы хотите носить на улице. Точно так же, хотя распознавание голоса в настоящее время является зрелой технологией, люди, как правило, не хотят давать громкие команды перед незнакомцами.
Интерфейс «мозг-компьютер» (BCI) может позволить пользователям контролировать свои очки и даже вводить слова и предложения, просто думая.
«Через десять лет способность печатать прямо из нашего мозга может восприниматься как нечто само собой разумеющееся», – говорится в сообщении в блоге. Не так давно это звучало как научная фантастика. Теперь это кажется правдоподобным.
Почти все высококачественные варианты BCI сегодня являются инвазивными, то есть они устанавливают электроды в мозг, которые требуют операции для введения. Стартап Элона Маска, Neuralink, планирует использовать робота для вставки крошечных «ниточек» в мозг, но это, очевидно, все еще непрактично для продукта массового рынка.
Программа BCI Facebook курируется Марком Шевилле. Шевилле имеет докторскую степень в области неврологии и ранее был профессором и руководителем программы на факультете неврологии Университета Джона Хопкинса. Там он работал над проектом по созданию устройства связи для людей, которые не могли говорить.
Прежде чем понять, как читать мысли неинвазивно, Chevillet нужно было в первую очередь выяснить, возможно ли это. Он обратился к Эдварду Чангу, коллеге и нейрохирургу из Калифорнийского университета в Сан-Франциско (UCSF).
Чтобы доказать, что концепция возможна, исследователи UCSF использовали инвазивную ECoG (электрокортикографию) и смогли получить точность до 76% при обнаружении высказываний, о которых думали испытуемые.
Предыдущие исследовательские проекты достигли этого с автономной обработкой, но этот результат был достигнут в режиме реального времени. В настоящее время система может определять только ограниченный словарный запас слов и фраз, но исследователи работают над этим.
Чтобы достичь аналогичных результатов без имплантации в мозг, потребуются новые технологии и достижения. Facebook сотрудничает с Вашингтонским университетом и Джонсом Хопкинсом для исследования изображений в ближней инфракрасной области.
Если вы когда-либо светили красным светом на свой палец, вы заметите, что свет проходит через него. Исследователи используют эту концепцию, чтобы ощутить «сдвиги уровня кислорода в мозге», вызванные нейронами, потребляющими кислород, когда они активны – косвенная мера мозговой активности.
Это похоже на приемы, используемые стартапом Мэри Лу Джепсен в Openwater. Джепсен работал в Facebook в 2015 году в качестве руководителя Oculus, занимаясь исследованиями передовых технологий для AR и VR. Хотя целью Openwater является замена МРТ и КТ-сканеров, Facebook ясно, что он не заинтересован в разработке медицинских устройств.
Текущий прототип описывается как «громоздкий, медленный и ненадежный», но Facebook надеется, что, если он когда-нибудь сможет распознать даже несколько фраз, таких как «home», «выбрать» и «удалить», он может в сочетании с другими технологиями, такими как eye-tracking, будьтестать убедительным входным решением для будущих AR гарнитур.
Если визуализации оксигенации крови в ближней инфракрасной области будет недостаточно, Facebook изучает прямую визуализацию кровеносных сосудов и даже нейронов:
«Благодаря коммерциализации оптических технологий для смартфонов и LiDAR мы считаем, что можем создавать небольшие удобные устройства BCI, которые позволят нам измерять нейронные сигналы ближе к тем, которые мы в настоящее время записываем с помощью имплантированных электродов, и, возможно, даже однажды декодировать беззвучную речь. Это может занять десятилетие, но мы думаем, что сможем сократить разрыв».
Конечно, идея Facebook, буквально читающего ваш мозг, может привести к серьезным проблемам с конфиденциальностью. Такие данные могут быть использованы для целевой рекламы с беспрецедентной точностью или в более гнусных целях.
«Мы уже многому научились», – говорит Шевилле. «Например, в начале программы мы попросили наших сотрудников поделиться с нами некоторыми неопознанными записями электродов пациентов с эпилепсией, чтобы мы могли проверить, как работает их программное обеспечение. Хотя это очень распространено в исследовательском сообществе и в настоящее время требуется в некоторых журналах, в качестве дополнительного уровня защиты нам больше не предоставляются данные об электродах».
Он продолжает:
«Мы не можем предвидеть или решать все этические проблемы, связанные с этой технологией, самостоятельно», – говорит Шевилле. «Что мы можем сделать, так это распознать, когда технология вышла за пределы того, что люди знают, возможно, и убедиться, что информация доставлена сообществу. Нейроэтический дизайн является одним из ключевых столпов нашей программы – мы хотим быть прозрачными в том, над чем мы работаем, чтобы люди могли рассказать нам о своих опасениях по поводу этой технологии».