‘말버릇’까지 구현…캐릭터 한계 넘는 AI
![2021년 사망한 미국의 원로 배우 에드 에스너의 장례식. 그의 생전 모습을 구현한 홀로그램 이미지 조문객들을 맞이했다. [사진 스토리파일]](https://imgnews.pstatic.net/image/243/2023/04/29/0000044163_001_20230429170101268.jpg?type=w647)
[한세희 IT 칼럼니스트] 디지털 시대, 우리의 가장 자연스럽고 정확한 모습은 아마 카카오톡 대화방이나 소셜미디어 포스트에 남아 있을지도 모른다. 허물없는 친구들과 만든 단체 대화방에서 나누는 실없는 이야기들은 우리의 평소 모습을, 약간의 자랑하고 싶은 마음을 담아 인스타그램에 올린 사진들은 우리 내면의 가장 진실하고 은밀한 욕망을 드러낸다.
그렇다면 단톡방이나 페이스북 타임라인에 남은 나의 모습을 갈무리하면 나의 인격의 모습을 재구성해 만들어 낼 수 있을까? 페이스북에 올린 글과 사진들을 모아 책으로 만들어 주는 서비스들이 있다. 이렇게 만들어진 책을 훑어보면 페이스북 계정 주인의 평소 모습과 겹치면서 그 사람이 더 생생히 떠오른다.
그다음 단계로는 책의 한계를 넘어 실제적 상호작용이 가능한 수준으로 다른 이들의 인격을 구현할 수는 없을까 생각이 들 것이다. 실제로 이런 일은 불가능하지 않다. 인공지능(AI)의 발달은 이런 시도에 날개를 달고 있다.
AI가 인격을 재현한다면?
최근 미국 테크 매체 ‘더버지’에는 친구들과 나눈 대화방 메시지로 AI를 훈련시켜, 실제로 마치 그 친구들처럼 대화할 수 있는 챗봇을 만든 사람에 대한 기사가 실렸다. 데이터 사이언티스트로 일하는 이지 밀러는 대학에서 만난 절친 5명과 아이폰 아이메시지 그룹 채팅방을 열어 줄곧 대화를 나누어 왔다. 그는 학창 시절부터 지금까지 6~7년간 쌓인 50만 건의 메시지로 AI 모델을 훈련시켰다.
페이스북 운영사 메타가 개발한 거대 AI 자연어처리 모델 ‘LLaMA’ 등을 활용했다. 오픈AI의 GPT-3 못지않은 성능을 가진 생성 AI 모델이다. 지난 2월 일부 연구자들을 대상으로 공개했으나, 일주일 만에 온라인 게시판에 유출되어 버렸다.
AI 모델은 6명의 친구 각각의 메시지를 분류하고 학습해 그들의 말투나 자주 쓰는 표현을 흉내 낼 수 있게 됐다. 이 모델을 아이메시지의 푸른색 말풍선을 모방한 인터페이스에 연결했다. 이렇게 해서 6명의 친구와 그들의 클론 챗봇이 나란히 대화하는 단체 대화방이 만들어졌다.
클론 챗봇은 마치 진짜 친구처럼 대화할 수 있었다. ‘누가 헨리의 맥주를 마셔 버렸는가?’라는 주제로 대화할 때는 각 챗봇의 대화들이 너무나 사실적으로 느껴져서, 밀러는 혹시 예전에 같은 주제로 진짜 대화를 한 적이 있었는지 실제 대화방 히스토리를 거슬러 올라가 확인까지 했을 정도다.
친구의 말버릇을 그대로 재현해 마치 그 사람처럼 이야기하는 AI 클론들을 만들어 낸 것이다. 이는 대화라는 측면을 중심으로 어떤 사람의 인격을 재현한 것이고, 그들 6명 친구의 대화방이라는 작은 세계를 새로운 방식으로 재창조한 셈이라 할 수 있다.
AI 기술을 활용해 세상을 떠난 가족과 대화하는 서비스들도 이미 여럿 나와 있다. 생전의 모습과 음성을 영상에 담고, 이를 디지털 아바타로 만들어 장례식에 조문 온 사람들과 대화하게 하는 ‘스토리파일’ 같은 서비스가 대표적이다. 미리 녹음된 대화를 반복하는 것이 아니라 생전의 대화를 바탕으로 상황에 적합한 대화를 나눌 수 있다. 2021년 사망한 미국의 원로 배우 에드 에스너의 장례식에 스토리파일의 기술을 이용한 그의 홀로그램 이미지가 등장해 조문객들과 대화하기도 했다.
미국의 제임스 블라호스라는 사람은 아버지가 말기 암 판정을 받은 후 아버지의 모습과 그의 이야기를 영상에 담고, 이를 바탕으로 아버지의 음성으로 대화할 수 있는 AI 챗봇 ‘아빠봇(Dadbot)’을 만들었다. 이후 그는 세상을 떠난 이의 아바타와 대화하는 서비스를 만드는 히어애프터AI라는 회사를 창업했다. 아마존 스마트 스피커의 AI 비서 알렉사는 최근 돌아가신 할머니의 목소리로 잠자리 동화를 읽어주는 기능을 선보였다.
![이지 밀러 데이터 사이언티스트가 구현한 AI 챗봇 대화 화면. [이지 밀러 블로그 캡처]](https://imgnews.pstatic.net/image/243/2023/04/29/0000044163_002_20230429170101314.jpg?type=w647)
AI에 표정과 음성, 나아가 육체를 입힐 수 있다면?
챗GPT같이 더 자연스럽고, 더 쓰기 편한 거대 모델 기반 생성 AI 기술들이 나오면서 상황과 상대하는 사람에 맞춰 상호작용하는 맞춤 AI 제작은 더 쉬워졌다.
이런 기술은 게임에 활발히 적용되고 있다. 게임엔 사용자에게 퀘스트를 주거나 상황을 설명하는 등의 역할을 하는 게임 내 캐릭터, NPC(Non-Playable Character)들이 있다. 지금도 게임사들은 AI를 활용해 이들이 다채롭게 게이머들과 상호작용하게끔 하려 하고 있지만, 아직은 미리 정해진 몇 가지 문장을 반복하는 경우가 대부분이다.
생성 AI는 이런 한계를 넘게 해 줄 기술로 주목받는다. 게임 엔진을 만드는 유니티는 다양한 표정과 몸짓을 가진 디지털 휴먼을 자동으로 만드는 기술을 선보였다. AI로 캐릭터 간 대화나 게임 내 아트워크를 자동 생성하게 할 수도 있다. 다양한 기능을 가진 AI 도구들을 유니티 전용 스토어에서 선택해 유니티 엔진에 적용하기만 하면 된다. 게임 개발사 및 유비소프트는 NPC들의 대화 초안을 자동 생성하는 ‘고스트라이터’라는 AI 도구를 선보였다.
이 같은 기술은 게임 제작 과정에서 많은 인력과 시간이 투입되는 시나리오나 캐릭터 디자인, 배경 작업 등에 들어갈 자원을 줄여 창의적 업무에 집중할 수 있게 해 준다. 여기서 조금 더 나아가면, AI를 활용해 각 플레이어의 상황과 과거 게임 플레이 과정, 게임 내 채팅 등을 통해 드러난 말투 등을 반영하며 1:1로 반응하는 게임 캐릭터와 스토리를 만드는 것도 가능할 것이다.
더 나아가 이 같은 맞춤형 생성 AI 기술이 메타버스에 접목되면 어떨까? 사용자의 개인적 경험과 기억, 디지털 세계에서의 흔적을 학습한 AI가 사용자가 선호하거나 혹은 사용자에게 의미 있는 사람의 외모·표정·음성·말투를 가진 아바타로 나타나 상호작용하는 것이다. 사용자와 그들의 실제 친구, 사용자의 기억을 공유하는 AI 캐릭터, 기억을 공유하지 않지만 풍부한 스토리를 가진 NPC가 상호작용하는 세계다. 현실과 가상, 실제와 창작이 엇갈리는 세계 경험을 줄 수도 있다.
조금 더 소름 끼치는 SF적 상상을 밀어붙여 본다면, 유전자 복제 등의 방법으로 만든 육체 혹은 육체를 닮은 로봇에 누군가의 기억을 학습해 그 사람처럼 말하고 행동하는 AI를 심을 수도 있을 것이다. 언젠가는.
지금도 죽은 애완동물을 복제하려는 시도가 있다는 사실을 생각해 보면, 기술이 충분히 발전하고 가격은 충분히 떨어진다면 이런 일이 일어나지 말라는 법도 없을 것이다.
