[과학놀이터]스티븐 호킹 박사가 지금 태어났다면

동영상에 나오는 웰시코기를 보니 정말 신기하고 놀랍다. 주인이 음성을 녹음한 버튼 여러 개를 바닥에 깔아놓고, 강아지가 각 버튼을 눌러 원하는 말을 한다. ‘산책’과 ‘간식’의 정확한 뜻을 알고 그 뒤에 각각 ‘간식’과 ‘달라’라는 버튼을 연달아 누르는 것이다. 처음에는 버튼이 서너 개였는데 최근에는 아홉 개까지 늘었다. 버튼을 눌러 의사를 전달하는 것이 아홉 개일 뿐이지, 이 강아지가 알아듣는 말의 개수는 이보다 훨씬 더 많다. 주인이 춥다고 하자 담요를 끌어오고, 산책을 나가자고 하면 알아서 목줄을 물어온다. 정말 똘똘하다.

아이가 늘 강아지를 키우고 싶어 하지만, 필자에게는 개털 알레르기가 있다. 그래서 쉬는 날이면 유튜브에 올라온 강아지 동영상을 보곤 한다. 그 중에서도 이렇게 자기 의견을 분명히 전달하는 강아지가 유독 귀엽고 신기하다. 집사(강아지 주인)에게 하고 싶은 말이 저렇게나 많다니 버튼에 없는 다른 이야기는 무얼 하고 싶을까, 버튼 훈련을 하지 못한 다른 강아지들은 얼마나 답답할까 생각이 들었다.

강아지야 원래 사람만큼 언어를 능숙하게 쓰지 않으니 굳이 버튼이 없어도 답답하지 않을 터다. 하지만 평생 말을 잘 했던 사람이 갑작스러운 사고나 병으로 인해 더 이상 말을 하지 못하게 됐다면 얼마나 고통스러울까. 손을 움직여 글을 쓰지 않아도, 혀를 움직여 정확한 음성으로 말하지 않아도 ‘생각만으로’ 의사를 표현할 수 있다면 얼마나 좋을까.

공학자들도 이 같은 고민을 오래 해왔다. 생각을 글로 바꾸어 주는 기술이다. 가장 잘 알려진 것은 이론물리학자 스티븐 호킹 박사가 살아 있을 때 사용했던 것이다. 젊은 날 루게릭병(근위축성축삭경화증)이 발생하면서 혀조차 마음대로 움직일 수 없었던 호킹 박사는 눈동자를 움직여 컴퓨터 화면 속 키보드를 두드리고 마우스를 움직여 글을 썼다. 하지만 이 기술에는 엄청난 불편함이 있다. 눈동자를 자유롭게 움직여 원하는 단어를 쓰기까지 훈련이 필요하고, 훈련이 잘 됐더라도 단어를 하나하나 쓰는 데 시간이 오래 걸린다.

그래서 공학자들은 이보다 더 직관적인 기술을 개발하기 시작했다. 머릿속에 떠오른 이야기를 우리가 즉각 말로 하는 것처럼, 뇌파를 분석해 글로 바꾸는 기술이다. 물론 쉽지는 않다. 뇌파마다 어떤 생각을 뜻하는지 파악하기도 어렵지만, 뇌 활동을 세밀하게 관측하려면 뇌에 전극이나 칩을 삽입해야 하기 때문이다. 이렇게 뇌파를 측정해 글로 바꾼 결과의 정확도도 상당히 떨어졌다.

그런데 최근 미국 과학자들이 뇌에 칩을 넣지 않고 의료기기로 촬영하는 것만으로도 비교적 정확하게 생각을 언어로 바꾸는 인공지능(AI) ‘시맨틱 디코더’를 개발하는 데 성공했다. 오스틴 텍사스대 컴퓨터과학과와 신경과학과 공동 연구팀이 개발한 이 AI는 사람이 어떤 문장을 머릿속에 떠올리면 이것을 글로 바꾸어 화면으로 보여준다. 모든 생각을 다 말로 보여주는 것이 아니라, 그중 이 사람이 지금 말로 표현하고 싶은 것만 골라 화면에 띄운다.

연구팀은 시맨틱 디코더를 개발하는 데 AI 챗봇 ‘챗GPT’에 활용된 트랜스포머 모델을 사용했다. 이 AI 모델은 단어의 뜻뿐만이 아니라 단어와 단어, 문장과 문장 간의 관계까지 파악해 글 전체의 의미와 맥락을 이해할 수 있다. 연구팀은 실험참가자 3명에게 16시간 동안 다양한 이야기를 들려주며 특정 단어와 문장에 따라 뇌 활동이 어떻게 달라지는지 기능성 자기공명영상(fMRI) 장치로 관찰했다. 동시에 시맨틱 디코더가 특정 단어나 문장에 대한 뇌 활동을 인지하고 학습하도록 훈련시켰다.

연구팀은 실험참가자들에게 새로운 이야기를 들려주었다. 그 결과 시맨틱 디코더는 참가자들의 뇌 활동만 보고도 정확한 단어와 문장으로 바꾸었다. 이 이야기를 이해하려면 꼭 파악해야 하는 중요 단어들을 찾아냈고, 일부는 이야기에서 나왔던 그대로 단어와 문장을 정확하게 만들었다. 시맨틱 디코더가 단어와 단어, 문장과 문장 간 관계와 글의 맥락까지 파악하는 덕분이다. 이 연구결과는 5월 1일 국제학술지 ‘네이처 신경과학’에 실렸다.

수많은 전신마비 환자과 그 가족들에게 희망을 주는 소식이다. 언젠가는 이 기술 덕분에 유튜브 스타인 저 강아지처럼 자기 의사를 표현하는 동물이 여럿 나올지도 모른다. 개나 고양이를 키우는 사람들에게도 반가운 소식이겠다. 반면 이 기술을 악용해 다른 사람의 생각을 마음대로 읽거나 비밀 정보를 알아내는 범죄도 나타날 듯도 싶다. 눈부시게 발전하는 기술을 착하게만 사용할 수 있는, 그런 미래도 함께 올 수 있다면 좋겠다.

참고자료 | 논문 ‘Semantic reconstruction of continuous language from non-invasive brain recordings’, Nature Neuroscience, 2023년 5월 1일

https://www.nature.com/articles/s41593-023-01304-9