6ТУ. Мигель Николелис: Обезьяна управляет роботом силой мысли. На самом деле.

[slavabo]

Miguel Nicolelis

Мигель Николелис: Обезьяна управляет роботом силой мысли. На самом деле.

Posted Feb 2013Rated Fascinating, Ingenious

Рассказывает Miguel Nicolelis
12 лет назад мы создали так называемый компьютерно-мозговой интерфейс.
Идея была такая. Мы взяли датчики для прослушивания бурь, электрических разрядов, и решили проверить, возможно ли за тот же отрезок времени, что сигнал, выходящий из мозга, достигает ног или рук животного — примерно за полсекунды — возможно ли прочесть эти сигналы, выделить моторную составляющую, перекодировать её в цифровую команду и передать искусственному устройству, которое будет воспроизводить произвольные двигательные намерения мозга в реальном времени. А затем оценить, насколько хорошо нам удалось перекодировать команду в сравнении с тем, как это делает тело.

И если нам удастся создать обратный сигнал — сенсорный сигнал, отправленный роботизированным, механическим, вычислительным устройством, которое находится под контролем мозга — отправить его обратно в мозг и посмотреть, как мозг реагирует на получение информации от искусственного механизма.
Мы начали с замечательной обезьяны Авроры, которая потом прославилась в этой области. Аврора любила видеоигры. Как видно на экране, для игры ей нравилось пользоваться джойстиком, как и всем нам или нашим детям. И как настоящий примат, она даже пыталась смухлевать, прежде чем найти правильный ответ. Мишень, которую ей нужно перечеркнуть курсором при помощи джойстика, ещё не появилась, а Аврора уже пытается найти её по всему экрану. Каждый раз перечёркивая мишень маленьким курсором, она получает каплю бразильского апельсинового сока. Я вас уверяю, ради капли бразильского апельсинового сока любая обезьяна пойдёт на всё, что вам будет угодно. Или даже любой примат. Задумайтесь над этим.

Итак, пока Аврора играла, проходя тысячу испытаний в день, попадая по цели в 97% случаев и получая 350 миллилитров апельсинового сока, мы записывали мозговые бури, которые происходили у неё в голове и пересылали их на роботизированную руку, которая обучалась копировать движения Авроры. Идея заключалась в том, чтобы подключить интерфейс взаимодействия мозга и компьютера и сделать так, чтобы Аврора смогла играть, только подумав об игре, не совершая движений телом. Её мозг управлял бы роботизированной рукой, которая перемещала бы курсор, перечёркивая мишени. И к нашему глубокому удивлению, у Авроры всё получилось. Она играла, не двигая телом.

Вот эти траектории движения курсора, когда Аврора впервые осознала это. Это первый раз, когда намерение мозга удалось высвободить из оков тела примата и реализовать во внешнем мире с помощью управляемого устройства. Аврора продолжала играть, попадать по маленьким мишеням и получать желанный апельсиновый сок.

Ей удавалось это делать, потому что к тому времени у неё появилась новая рука. Рукой управляет мозг Авроры и перемещает её так, чтобы попасть по мишени. Аврора знает, что теперь она может играть с помощью роботизированной руки, но она не потеряла способность пользоваться своими руками, чтобы делать, что ей заблагорассудиться. Она может почесать спину себе или кому-нибудь из нас, а может играть в другую игру. С уверенностью можно утверждать, что мозг Авроры принял искусственное устройство как продолжение её тела. Образ своего тела, который был у Авроры, расширился — к нему добавилась ещё одна рука.
В прошлом году мы поняли, что для такого расширения образа роботизированное устройство не нужно. Достаточно создать виртуальное тело, проекцию, аватар обезьяны. Обезьян можно обучить взаимодействовать с аватарами или воспринимать аватар в виртуальном мире как деятеля, от первого лица, и управлять движением её рук и ног с помощью своего мозга.
Мы научили животных управлять такими проекциями и изучать объекты, находящиеся в виртуальном мире. Эти объекты внешне идентичны друг другу, но когда аватар касается поверхности одного из них, то в мозг поступает электрический сигнал, соответствующий микротактильной текстуре объекта, и сообщает мозгу, чего коснулась рука аватара. Спустя всего четыре недели мозг привыкает к обработке новых сигналов и создаёт новый сенсорный канал — можно сказать, новое чувство. Таким образом, мозг освобождается. Теперь он может посылать двигательные команды для управления аватаром. Обратные сигналы, поступающие от аватара, обрабатываются мозгом непосредственно, без участия кожи.
Животное должно коснуться трёх объектов и выбрать один из них, потому что только за один из них можно получить награду, желанный апельсиновый сок. Выбрать объект нужно, полагаясь на тактильные ощущения виртуальной руки. Руки, которой не существует. Именно это животные и делают.

Это полное освобождение мозга от физических ограничений тела и двигательных нервов при восприятии. Животное управляет виртуальной проекцией, которая касается объектов. И животное чувствует текстуру объектов, получая электрические послания прямо в мозг. А мозг анализирует, какая из текстур связана с наградой. Подписи, которые показаны на экране, не видны обезьянам. Хотя они и по-английски то не читают. Но обезьянам всё равно удаётся его найти по тактильным ощущениям, нажать на него и выбрать.
Это говорит нам о том, что наше самоощущение не заканчивается на последнем слое эпителия нашей кожи — оно заканчивается на последнем слое электронов инструмента, которым мы управляем с помощью своего мозга. Скрипки, автомобили, велосипеды, футбольные мячи, одежда — ненасытная удивительная динамичная система под названием «мозг» впитывает все эти предметы.

Есть ли тому предел? Несколько лет назад мы провели эксперимент, чтобы выяснить это. Обезьяна в Университете Дьюка на Восточном побережье США бежала по беговой дорожке, генерируя мозговые бури, необходимые для движения. А городе Киото, в Японии, в лаборатории вычислительной неврологии Международного института передовых телекоммуникационных исследований у нас был человекоподобный робот, всю жизнь мечтавший получить команду от мозга — мозга человека или примата.

Мозговая активность, управляющая движением обезьяны, была передана японскому роботу, который смог пойти, а данные с движущегося робота, были отправлены обратно в Университет Дьюка, чтобы обезьяна могла видеть перед собой ноги идущего робота. Так обезьяна получала награду не за движения своего тела, а за каждое правильное движение робота, находящегося в другом полушарии и управляемого её мозгом.

Удивительно, но путь сигнала вокруг земного шара занял на 20 миллисекунд меньше, чем нужно мозговой буре, чтобы покинуть мозг обезьяны, и достигнуть мышцы. Обезьяна управляла роботом в шесть раз большего размера, чем она сама, и находящимся на другом конце света. Это один из экспериментов, когда роботу удалось пойти автономно. Робот CB1 осуществляет свою мечту в Японии, находясь под управлением мозга примата.

К чему нас всё это? Для чего нам все эти исследования, помимо самоцели изучить свойства этой динамичной вселенной, что у нас между ушей? С помощью накопленных знаний и технологий мы хотим решить одну из самых сложных неврологических проблем на сегодняшний день. Миллионы людей утратили способность расшифровывать мозговые сигналы в приказы к действию, к движению. Их мозг продолжает порождать сигналы и отдавать приказы двигаться, но они не могут преодолеть преграду, возникшую при повреждении спинного мозга.

Мы хотим создать обходной путь, использовать интерфейс взаимодействия между компьютером и мозгом для чтения мозговых сигналов, масштабных мозговых бурь, в которых зашифровано желание двигаться, чтобы обойти поражённые ткани с помощью компьютерной микроинженерии и передать их новому телу — экзоскелету, роботизированному костюму, который станет новым телом для таких людей.
Некоммерческое объединение «Walk Again Project», в которое входят учёные из Европы, США и Бразилии, работает над тем, чтобы создать такое новое тело. Тело, которое, по нашему мнению, с помощью таких же пластиковых механизмов, что позволяют Авроре и другим обезьянам использовать инструменты через интерфейс взаимодействия между компьютером и мозгом, позволяет нам приспосабливаться к инструментам, которые мы создаём и используем в повседневной жизни... Мы надеемся, что этот же механизм позволит людям не просто думать о движениях, которые они хотели бы совершить, и расшифровывать сигналы мозга в движения нового тела, но и воспринять такое тело как новое, управляемое мозгом.

https://www.ted.com/talks/miguel_nicolelis_a_monkey_that_controls_a_robot_with_its_thoughts_no_really/transcript?language=ru