나이들어 인지기능 떨어진 AI

매일 아침 루틴 중 하나는 과학기술과 관련된 최신 논문을 살펴보는 것이에요.

네이처, 사이언스 등 주요 저널에 들어가 흥미로운 제목의 논문이 보인다면 살펴보고, 관련 뉴스가 있는지 검색해 봅니다. 

오늘 레터에서는 최근 찾았던 재미있는 테크 관련 논문을 정리해 보려 합니다. 

과학기술이 얼마나 빠르게 발전하고 있는지 느끼실 수 있을 거에요. 빠르게 시작해 보겠습니다.

Today’s index

• 오래된 AI, 인지능력 저하
• 동물 감정 이해하는 AI
• 피아노 연주 능력 향상시키는 로봇
• 모닝브리핑

나이가 들어 인지능력이 저하된 AI를 표현해 달라고 요청해봤습니다. [그림=챗GPT]오래된 AI인지능력 저하학술지 BMJ에 최근 실린 재미있는(?) 논문 하나 소개해 드릴게요. 이스라엘, 영국 연구진의 논문인데요. 이들은 챗GPT와 같은 대형언어모델(LLM)이 인간과 유사한 ‘인지장애’를 겪는지 아닌지를 확인하는 실험을 합니다. 이게 무슨 씻나락 까먹는 소리냐고요?일단 논문을 볼게요! 연구진은 챗GPT 4, 챗GPT 4o와 함께 앤스로픽의 클로드 3.5와 소넷, 구글 제미나이 1.0과 1.5를 기반으로 실험합니다. 인간의 기억력, 주의력, 언어, 시공간 능력 등을 평가하는 ‘몬트리올 인지 평가’ 테스트를 시행합니다. 가장 높은 점수는 챗GPT 4o가 받습니다. 그다음이 챗GPT4와 클로드 3.5, 제미나이 1.5, 마지막으로 제미나이 1.0 순이었습니다. 논문에 따르면 제미나이 모델은 기억력 테스트에서 다소 문제를 보였다고 해요. 모든 모델은 ‘시공간 테스트’에서 저조한 성과를 보입니다. 기억력에서도 문제가 있었고요. 연구진은 “거의 모든 대형 언어 모델이 가벼운 인지 장애 수준을 보였다”라고 결론 내립니다. 특히 모델의 ‘연식’이 오래될수록 성능이 떨어진다는 결과가 나왔어요. AI 모델을 ‘사람’으로 봤을 때 인지능력을 평가하면 ‘인지 장애’로 판단할 수 있는 증상들이 나타났다는 얘기입니다. 여기까지 봤을 때 이상하다는 생각이 들었습니다. “당연한 거 아니야?”네 맞습니다. 당연하죠. 연구진이 하고 싶은 말은 다음부터 등장합니다. 최근 LLM은 다양한 의료 시험에서 인간을 능가하는 성능을 보여줬습니다. 하지만 연구자들이 보고 싶었던 것은 AI의 취약점이었어요.사람의 인지 능력을 평가하는 테스트를 AI에게 해보니 옛 모델의 경우 인지기능이 실제로 떨어지는 결과가 나온 거죠. 즉 의료 분야와 같은 곳에서 LLM을 활용하기 위한 시도가 많아지고 있지만 사람으로 따지면 ‘인지 기능이 저하된 사람’인데, 이들이 과연 신뢰할만한 진단을 내릴 수 있을 것인지에 대한 의문을 제기하고 있는 겁니다.이는 과거 IBM의 AI, ‘왓슨’의 실패와도 관련이 있다는 생각이 들어요. IBM 왓슨은 과거 병원을 송두리째 바꿀 혁신적인 AI로 주목받았습니다. 하지만 훈련 데이터 부족을 비롯해 질병이 가진 복잡성에 제대로 대응하지 못하는 문제가 발견됐습니다. 예를 들어 대규모 과학 문헌을 공부한 뒤 이를 특정 환자에게 적용하는 데 어려움을 겪으면서 진단 도구로서 큰 역할을 하지 못하게 됩니다. 나라 별로 서로 다른 의료 시스템을 가지고 있는데, 여기에도 제대로 적응하지 못했다고 해요.  연구진은 “AI가 인간 의사를 대체할 수 있다는 가정은 성급하다”라고 결론 내려요. 따라서 LLM을 병원에서 의사 결정 도구로 활용하려는 시도에는 ‘신중함’이 필요하다고 지적합니다. 인간 전문가와의 보완적인 관계가 현재 상황에서는 더 적절하다는 거죠.

주요 생성형AI의 인지기능 검사 결과입니다. 챗GPT 4o가 현재 가장 높은 점수를 받고 있네요. [표=BMJ]

2021년 발표된 논문에서 재미난 사진을 한 장 발견했습니다. (A)는 중립, 느긋한 표정 (B)슬픔, 넓은 이마, 꼬리 쪽으로 기울어진 귀, 닫힌 입 (C)즐거움, 입술 접합부, 인간 미소 형태 (D) 놀람, 표정이 풍부한 큰 눈, 귀를 세움. 실제 이럴까요! [사진=애니말스 논문]동물의 감정 이해AI로 하면 정확저는 아이들의 성화에 못 이겨 현재 ‘스마일게’를 키우고 있어요. 밥을 주고, 물을 갈아주며 보살피고 있는데요. 사과를 한번 줬더니 이후 게밥(사료)을 먹지 않아 키우는 게 이만저만 힘든 게 아닙니다. 그럴때마다 이런 생각이 들었어요.‘내가 너희 말을 알아들을 수 있으면 얼마나 좋을까. 아니, AI가 그렇게 발전했다는 데 동물의 표정, 울음소리 이해 못하나?’라는 마음으로 뒤져보니 마침 ‘사이언스’에 관련 연구가 소개된 것을 확인할 수 있었습니다. 짧게 정리해 볼게요. 인간을 포함하는 포유류는 표정에 영향을 미치는 ‘공통 근육’을 가지고 있습니다. 예를 들어 우리는 얼굴 움직임의 38%를 ‘개’와 공유하고 있고, ‘34%’를 고양이와 공유하고 있다고 해요. ‘47%’는 영장류, 말과 공유하고 있다고 하는데요, 동물의 표정을 통해서 그들의 감정을 이해하는 일은 쉽지 않았다고 합니다. 변수가 워낙 많고 작은 움직임을 인간이 알아채기 쉽지 않으니까요.  AI가 이를 해결하기 위해 등장합니다. 최근 연구를 살펴보면 고양이가 고통을 받고 있는지를 파악하는 데 있어서 AI를 활용했더니 77%의 정확도로 이를 맞췄다고 해요. 고양이의 코와 입이 통증에 더 민감하게 반응했고, 귀는 덜 중요한 것으로 나타났다고 합니다. 브라질에서 진행된 연구도 눈에 띕니다. 말이 수술하기 전과 후, 진통제를 넣기 전과 후의 얼굴 사진을 3000장 촬영한 뒤 AI에게 학습시켰습니다. 그 결과 AI는 통증이 있고 없음을 구별하는 데 있어서 정확도 88.3%를 보였다고 해요. 또한 AI는 수의사가 놓친 말의 통증 신호를 알아내는 데도 성공했다고 합니다. 반려동물로 가장 친숙한 ‘개’와 관련된 연구도 있습니다. AI를 기반으로 레트리버의 얼굴 사진을 분석했더니 ‘행복’과 ‘좌절’을 느꼈을 때의 표정을 89%의 정확도로 맞췄다고 해요. 과거 일본, 미국 등에서 개와 고양이의 기분을 알려주는 기계가 유행했던 적이 있는데(그런 기술이 얼마나 효과가 있을지는 모르겠지만요) AI가 일상화가 된 지금, 이러한 기술이 상용화되면 인간과 반려동물의 유대감은 더 돈독해질 것 같아요. 제가 키우고 있는 소라게는 표정이 없어서 이러한 장비가 나오려면 시간이 더 걸리겠지만요.

피아노 연주를 도와주는 웨어러블 로봇의 모습 [사진=사이언스 로보틱스]피아노 연주능력향상시키는 로봇피아노를 치는 로봇은 많이 있습니다. 그런데 이번 연구는 상당히 신기했어요. 사이언스 로보틱스라는 저널의 표지논문에 위 사진이 올라와 있었는데요, 호기심이 생길 수밖에 없었습니다. 피아노를 못 치는 사람도 저 로봇을 착용하면 칠 수 있을까! 하는 생각으로요. 연구 내용을 살펴보니 이는 피아니스트를 위한 ‘손가락 슈트 로봇’ 정도로 보시면 될 것 같았어요. 연구진은 30명의 피아니스트를 대상으로 2주 동안 피아노를 연습하도록 했어요. 그리고 ‘실력’이 더 이상 늘지 않는 상황이 되었을 때, 연구진이 개발한 ‘외골격 로봇’을 착용한 뒤 연습하도록 했습니다. 빠른 연주나, 복잡한 연주를 할 때 손이 ‘꼬이는’ 경우가 있을 텐데요, 이러한 상황을 로봇이 제어해주는 거예요. 이를 착용하고 피아니스트들은 30분간 로봇의 도움을 받아 피아노 연주를 합니다. 그 뒤 피아노 연주를 했더니 단 30분만의 훈련으로도 기존 연습으로는 도달할 수 없었던 수준의 향상이 관찰됩니다. 연구진은 이를 심층적으로 확인하기 위해 뇌도 확인해요.그 결과 대뇌 피질에서 손가락의 개별 움직임을 조절하는 신경 패턴에 변화가 생긴 것을 발견합니다. 즉 로봇의 도움이 손가락의 움직임을 담당하는 뇌에 영향을 줬고, 이것이 기존에는 할 수 없었던 빠르고 복잡한 연주를 가능케 했다는 것입니다. 이번 연구는 많은 것을 시사합니다. 피아니스트뿐 아니라 자기 능력을 극복하고 싶은 운동선수들이 로봇을 이용해서 이를 가능케 할 수 있음을 보여준 것이기 때문이에요. 즉 자신이 할 수 없었던 신체 활동을, 로봇의 도움을 받아서 반복하게 되면 뇌에 자극이 주어지고, 이는 곧 실제로도 가능해짐을 의미하니까요. 곤충 로봇도 눈에 띕니다. MIT 연구진이 무게 750mg에 불과한 공중로봇을 개발해 약 16분 가량 비행에 성공했어요. 이는 기존 기록인 10초를 크게 뛰어넘는 성과입니다. 날아다니는 초소형 로봇은 10여년 전부터 많은 개발이 이뤄졌습니다. 문제는 ‘배터리’에요. 이 작은 곤충을 오랜 기간 날려면 많은 배터리가 필요한데, 크기 자체가 작으니 배터리를 넣을 수도 없고요.결국 많은 연구진은 곤충의 날갯짓을 모방하기 위해 노력합니다. 곤충은 적은 에너지로도 오랫동안 날 수 있거든요. 이번 논문도 마찬가지입니다. 곤충이 비행 메커니즘을 모방한 설계를 기반으로 4개의 독립적인 날개를 만들었고, 이를 통해 16분 동안 비행에 성공합니다.또한 정밀 궤적 비행도 가능했다고 하는데요. 평균 속도는 초속 7.48m, 위치 오차는 불과 0.8cm에 불과했다고 합니다. 실제 이러한 로봇이 상용화된다면 영화에서나 봤던 스파이 로봇도 가능할 것 같아요. 다만 여전히 갈 길은 멉니다. 이번 로봇 역시 배터리 문제를 해결할 수 없었기에, 작은 전선을 연결, 전력을 공급해줘야만 했거든요.

MIT가 개발한 초소형 곤충 로봇입니다. 위에는 MIT라는 글자 형태로 로봇이 날아다닌 모습을 연속 촬영한 거에요. 아래 그림은 사진임에도 불구하고 로봇 옆에 전원과 연결되는 빨간색 선을 표현했습니다. 현재 기술로는 저렇게 전기를 가져다 줄 전선 없이 곤충 로봇이 오랫동안 날 수 없습니다. [사진, 그림=사이언스 로보틱스]

“일론 머스크 물러가라” DOGE 항의 시위 확대 17일(현지 시각) 1만 명이 넘는 시위대가 뉴욕시에 모여 일론 머스크의 정부효율부(DOGE)에 반대하는 시위를 열었다고 합니다. 주말 사이에는 전국 테슬라 매장에서 소규모 시위도 벌어졌다고 하네요. 시위에 참여한 사람들은 DOGE가 수백만 명의 미국인 데이터에 접근하고, 정부 조직을 해체하려는 시도에 반대했다고 합니다. 한편 미국에서는 테슬라 중고차 매물이 1년 전보다 28% 증가했다는 보도도 나왔어요. CNN은 이에 대해 머스크에 대한 반감도 작용한 것으로 보인다고 분석했습니다. 트럼프 행정부, 연방 항공청 직원 해고 트럼프 행정부가 연방 공무원 감원 과정에서 연방 항공청 직원 수백 명을 해고했다고 합니다. 해고된 직원 중에는 항공기 인증 전문가, 기술 시스템 전문가, 엔지니어 등이 포함되어 있다고 해요. 직원들은 “이유 없이, 성과나 행동에 근거하지 않고 해고됐다”고 주장하고 있습니다. 그록3 출시  17일(현지 시각) xAI가 그록3를 출시했습니다. 머스크는 “xAI와 그록의 목표는 우주의 본질을 이해하는 것”이라고 말했는데요. 그록3에는 고급 추론 능력이 담겨 있으며 강화 학습을 통해 개선될 예정이라고 합니다. 데모에서 그록3는 물리 문제를 풀고 게임을 만드는 등의 활약을 보여줬습니다. 사용할 수 있는 AI가 점점 많아지는 느낌입니다.

맺음말

영화 ‘록키’ 기억나시나요. 발보아(실베스터 스탤론)가 챔피언과의 대결을 앞두고 지극히 ‘전통적인’ 방식으로 훈련합니다.

반면 챔피언 크리드는 당시로서는 첨단 장비를 이용하죠. 러닝머신 위를 달리며, 온 몸에 생체 신호를 측정하는 장비를 꽂고, 몸 상태를 최적으로 만듭니다. 반면 가난한 복서 발보아는 윗몸 일으키기, 조깅 등 맨몸으로만 훈련합니다. 그리고 결국 챔피언에 등극하죠. 

1990년대, 한국 축구 대표팀은 체력 훈련을 위해 한라산에 수시로 올랐습니다. 히딩크 감독 부임 이후 이러한 훈련은 싹 사라졌고 한국 대표팀의 체력은 그 어느 때보다 강력해졌고요.

앞서 보여드린 ‘피아노 로봇’을 활용해 피아니스트가 국제 대회에서 좋은 성적을 냈다면, 이를 인간의 성공으로 볼 수 있을까요.

로봇의 도움을 받았지만 결국 로봇을 만든 것도 인간으로 볼 수 있으니까요. 히딩크 감독이 과학기술의 도움을 받은 체계적인 훈련으로 체력을 끌어올렸던 것 처럼요. 

공평한 대회가 되려면, 로봇의 도움을 받으면 안 된다, 라거나 로봇의 도움을 같은 방식으로 받아야 한다, 와 같은 옵션이 추가될 것 같기도 합니다. 

하루가 멀다고 나오는 과학기술 관련 연구 성과들을 보고 있으면 앞으로 바뀔 미래에 우리 삶은 어떻게 변하게 될지 여러 생각이 듭니다.

예를 들어 ‘AI 에이전트’가 일상화된다면 온라인 쇼핑에 쓰는 시간을 크게 줄일 수 있을 거예요. AI가 대신 검색해 줄 테니까요. 그날이 오면 과연 쿠팡과 같은 쇼핑 사이트는 어떻게 바뀌고, 또 물건을 판매하는 사람은 어떤 마케팅 전략을 펼쳐야 할까요. 

일하느라, 공부하느라, 한 주 중 가장 바쁜 날이 아마 수요일이 아닐까 싶어요. 월요일 화요일을 후회하기엔 늦었고, 목요일 금요일은 코앞으로 다가와 있습니다. 진퇴양난😓.

그런 의미에서 오늘 점심은 스트레스를 푸는 겸 매운 음식 어떠세요. 매운 음식을 먹으면 캡사이신이 통증 수용체를 자극하고, 우리 뇌는 통증 완화를 위해 엔도르핀, 도파민 등을 분비합니다. 

힘든 한 주, 억지로라도(!) 즐거운 기분을 느껴보세요. 저는 곧 다시 인사드리겠습니다. 읽어주셔서 감사합니다.

함께 적어가겠습니다.

원호섭 드림