아바타와의 소통의 비밀 [SDF다이어리 Ep.84]

2021. 12. 22.

안녕하세요? 오늘은 지난달 개최했던 <SBS D포럼 2021> 가운데 저희가 기술적으로 의미 있는 시도를 했던 ‘닐 스티븐슨’ 세션의 3D 라이브 모션 캡처 기술의 뒷얘기에 대해 전해드리려 합니다.

저희 ‘SDF다이어리’ 뉴스레터를 구독하는 분이라면 저희 팀이 SBS내 사회공헌 지식나눔 프로젝트 <SBS D포럼(약칭 SDF)>을 매년 기획하고 개최하는 팀이라는 사실 많이들 알고 계실텐데요.

지상파 방송의 후발 주자였던 SBS는 우리 사회의 미래 이슈를 다른 언론사보다 훨씬 폭넓고 깊이 있게 들여다보기 위해 '미래팀'을 만들었습니다. 그에 따라 미래팀은 일반 뉴스에서 매일매일 발생을 다루느라 깊이 있게 들여다보기 힘든 우리 세상의 본질적인 문제들을 관찰하고 그 해법을 모색하기 위해 지난 2004년부터 SDF라는 플랫폼을 만들었습니다. SDF는 지상파 방송의 공적책임에 걸맞는 '어젠다 세팅'뿐만 아니라, 어떤 식의 ‘스토리텔링’이 더 많은 사람들의 관심을 사고 공감을 받을 수 있을지, 그리고 기술적으로는 어떤 새로운 경험을 SDF 플랫폼을 통해 나눌 수 있을 지를 항상 고민해왔습니다.

올해는 특히 ‘메타버스’, ‘아바타’라는 말을 1990년대 처음 만들어낸 SF작가 닐 스티븐슨이 SDF 연사로 나섰습니다. 그가 국내 무대에서 연사로 나선 건 SDF가 처음이었는데, 그만큼 SDF의 톤 앤 매너에 맞는 메타버스 경험을 찾아야 했습니다.

닐 스티븐슨 작가와 포럼에 앞서 가진 사전 미팅에서 어떤 식으로 ‘메타버스’를 구현하면 좋을지 상의하다 3D 아바타로 무대에 등장하면 어떨까 제안했습니다. 그랬더니 작가가 직접 추천해준 업체가 실리콘밸리에 본사를 두고 있는 캐릭터·애니메이션 제작 솔루션 전문개발 업체 ‘리얼루전’이었습니다.

지난 14일, '리얼루전'의 존 마틴 부사장에게 SBS D포럼과의 작업이 어땠는지 물었습니다.

인터뷰에 응해주셔서 감사합니다. 닐 스티븐슨 3D 모션 캡처 아바타 프로젝트를 같이 할 수 있어 좋았습니다. 저희가 갑자기 연락했을 때 어떠셨는지 궁금합니다.

저희도 굉장히 들떴습니다. 그 유명한 작가 닐 스티븐슨이라니요. 이후 SBS와 D포럼에 대해서도 알아보게 되었는데 확정된 연사들과 다루는 화두들을 보고는 너무 놀랐습니다. 같이 할 수 있어서 저희도 너무 좋았습니다.

닐 스티븐슨이 직접 추천해주셔서 저희는 리얼루전에 대해 알게 되었는데요. 과거 닐 스티븐슨과 일한 경험이 있으신가요?

아니요. 하지만 그의 팬입니다. 그는 ‘메타버스’와 ‘아바타’의 아버지잖아요. 그의 모든 작업을 항상 예의주시하고 있었고요. 디지털 캐릭터와 애니메이션이 사방에 적용되기 시작하면서 사실 그의 작업을 기리고 있었다고도 볼 수 있습니다. 그의 작업은 저희 일에 항상 많은 영감을 줍니다.

저희는 근본적으로는 디지털 캐릭터를 만드는 일을 하고 있는데요. 이번 SBS D포럼에서 닐 스티븐슨이 아바타에 대해 내린 정의가 굉장히 마음에 듭니다. 닐 스티븐슨은 아바타가 “디지털 세상에서 음향적, 시각적 기능의 구현이 가능한 우리의 모습”이라고 정의했는데요. 그렇게 정의하면 구현할 수 있는 디지털 캐릭터의 가능성이 정말 무궁무진해집니다.

<리얼루전에서 제작한 다양한 버전의 닐 스티븐슨 아바타>

닐 스티븐슨의 캐릭터를 구현하시면서 가장 신경 썼던 부분은 무엇인가요?

저희는 주로 캐릭터를 만들고 동작을 하게 하는 부분을 맡았는데요. 의상이 강연 중에 교체되기를 원하셔서 각기 다른 의상을 입은 닐을 제작해야 했고요. 닐 스티븐슨이 직접 전하고 싶은 얘기를 전신 모습의 영상으로 보내줘서, 그 영상의 오디오를 캐릭터에 입힐 수 있었습니다. 저는 저희가 6000마일 이상 떨어져 있었지만 원하는 모습을 같이 구현해낼 수 있었다고 생각합니다. 에픽게임즈까지 참여하면서 너무나 멋진 콜라보가 되었습니다.

<리얼루전에서 제작한 다양한 버전의 닐 스티븐슨 아바타>

한국도 그래픽 디자인에는 뛰어난 업체들이 많이 있는데요. 그럼에도 저희가 3D 모션 캡처를 하고자 한다 했을 때는 해본 곳이 그리 많지 않더라고요.

이러한 거대 프로젝트의 경우 여러 파트가 관여하게 됩니다. 캐릭터 관련도 있고요. 얼마나 비슷하게 구현해낼 수 있는지 관련도 있고요. 얼마나 다양한 의상을 구현할 수 있는지도 관련이 있고요. 음성 관련, 립싱크 부분이 있고요. 동작을 구현하는 모션 캡처 부분도 있습니다. 그리고 이 모두를 툴을 이용해 합치는 기술이 요구됩니다. 그 결과로 무대 위에 활력을 구현하게 되는 것인데요. 그게 우리 기술의 핵심입니다.

그리고 또 하나 이게 가능했던 것은 저희 조직이 상대적으로 좀 작아서 더 민첩하게 여러 상황에 대처할 수 있었다고 생각합니다. 아무래도 큰 조직은 빠르고 민첩하게 대응하기가 쉽지 않죠. 이번 프로젝트에 저희 쪽에서는 5~6명 정도가 참여했습니다. 또한 이러한 기술들이 점점 ‘실시간성’이 중요해지고 있는데요. 여러 대형 스튜디오들도 이제는 점점 실시간에 대처하는 툴이나 실시간에 대한 인식이 바뀌고 있습니다만 아무래도 과거 해오던 관행이 있어 넘어서는데 아직은 조금 제약이 있습니다. 저희가 이번에 같이 하면서 실시간 기술의 좋은 사례를 제시할 수 있어 무척 기쁩니다.

프리즘과 에픽게임즈까지 같이 작업한 최종 버전을 보고는 어떠셨습니까?

재미있었습니다. 특히 SBS D포럼 강연장에 AR형태로 아바타가 나타나게 한 것이 정말 멋지다 생각했습니다. 저는 포럼 앞쪽에 한국 대선 후보들 세션부터 보고 있었거든요. 너무 인상적이었습니다. 저는 평소 미국 정치에 엄청 관심이 많고, 정치인들의 이모저모에 항상 관심을 가져왔는데요. 대선 주자들의 강연이 포함된 것이 너무 좋았습니다. 거기에 닐 스티븐슨도 있었지요. <오징어 게임>의 감독도 있었지요. 저 같이 미국 켄터키주에서 보고 있던 사람의 입장에서도 너무 멋진 연사들이 많았습니다. 몇 시간을 봤는지 모르겠습니다. 친구들에게도 “이거 한번 봐봐 엄청 멋져”하고 소개하기도 했고요.

실시간 3D모션캡처 기술은 점점 더 많이 사용될 것이라 생각됩니다. SBS가 이러한 기술을 용기 있게 시도한 첫 사례이지만 이런 실시간성 사례들은 늘어날 것이라 생각합니다. 미국 미디어에서도 최근 이러한 아바타를 활용한 사례들이 점점 나타나고 있습니다. 현재 미국 TV방송에서는 아바타 가수들의 경진대회까지 열리고 있습니다.

<FOX방송의 얼터이고(Alter Ego) 프로그램>

저희 회사도 지난해 페이스북과 페이스북 와치(Watch)에서 힙합 스타 카디 비 부부가 게임 속으로 들어가 게임 캐릭터가 되는 체험을 하게 해주었는가 하면, 가수 트웬티 원 파일럿츠와 작업하는 등 미디어에서는 음악산업에서 버추얼 포퍼먼스에 대한 관심이 특히 높아지고 있습니다.

저희 입장에서는 닐 스티븐슨의 아바타를 사람들이 정말 ‘닐 스티븐슨’이라 느끼기를 원했고, 다른 한편으로는 아바타니까 현실 세계에서는 할 수 없는 것을 할 수 있기도 바랐거든요.

저는 사회자가 정식으로 연사를 소개하고 나서 닐 스티븐슨 아바타가 SBS D포럼의 실제 무대의 AR에 나타난 것, 그리고 버추얼 세상에서 실제 현실 세계로 전환되는 부분에서 닐 스티븐슨 아바타가 책을 가슴에 얹고 사라졌는데, 실제 닐 스티븐슨이 샌프란시스코에서 책을 가슴에 얹고 나타나 이야기를 이어가는 부분이 참 잘 연결됐다고 생각됐습니다.

저도 닐 스티븐슨의 아바타가 강연을 하는데 사람들이 아바타의 말에 집중하고 몰입하는 부분이 신기했습니다. 독특한 경험이라고 느꼈는데요. 비법이 뭘까요?

방금 하신 질문에 답이 있다고 생각하는데요. 제 생각에 비법은 콘텐츠입니다. 그 아바타가 어떤 말을 하고 어떤 행동을 하는지가 중요하다는 것이죠. 버추얼 세상에 아무리 많은 아바타가 내 주변에 있다고 하더라도 또 그 아바타가 아무리 진짜 실사 같이 보인다 해도 특별히 뭘 하고 있지 않다면 의미를 찾을 수 없을 것입니다.

내 옆에 있는 아바타가 용이든 게임의 캐릭터이든 진짜 내가 아는 사람이라 한들 수동적으로 보기만 해야한다면 흥미가 금방 없어질 것입니다. 상호작용이 중요합니다. 함께 뭔가를 하고 있다고 느껴야 합니다. 그래서 결국 어떤 콘텐츠이냐가 관건입니다. SBS D포럼이 했던 것처럼 말입니다. 아바타였지만 닐 스티븐슨의 아바타가 하는 얘기가 흥미로웠고, 사람들이 그의 얘기를 듣고 싶어 했기 때문에 아바타인줄 알면서도 집중할 수 있었습니다.

닐에게 아바타를 처음 봤을 때 어떻게 느꼈냐고 물었더니 “수염을 더 길게 만들어서 나이가 좀 들어 보이네요. 하지만 괜찮아요. 덕분에 더 현명해 보여요” 라고 말하더라고요. 특히 얼굴 부분 제작에 많은 공을 들인 것으로 아는데요.

저희가 고민했던 부분은 현재의 닐 스티븐슨을 반영하고 싶기도 했지만, 존경의 의미로 그의 책의 캐릭터도 동시에 반영하고 싶었습니다. 그래서 <스노 크래시>의 주인공 프로타고니스트가 메타버스에서 입고 다닐 것 같은 옷과 검을 장착한 모습을 만들었습니다. 또 연사 닐 스티븐슨으로서 어울릴만한 셔츠와 바지를 입은 모습, 그리고 조금더 SF스러운 모습까지 여러가지를 제작했습니다.

만약 그가 수염이 너무 길다 했다면 그 정도 피드백은 받아들일 수 있습니다. 이발시켜 드리겠습니다. 작가님이 마음에 들어 했다니 기쁘고 그가 전해준 오디오와 영상에서 캐릭터가 살아나는 과정을 보는 것이 멋졌습니다.

닐 스티븐슨 작가에게 물었던 같은 질문을 여쭙겠습니다. 부사장님은 벌써 본인의 캐릭터가 있을지도 모르겠습니다만, 만약 무엇이든 될 수 있다면 지금과 비슷한 모습의 캐릭터가 되고 싶으신가요 완전히 다른 모습의 캐릭터가 되고 싶으신가요?

제 모습 그대로의 캐릭터를 만들고 싶은 마음도 있습니다. 왜냐하면 그것이 훨씬 어렵기 때문에 도전이 될 수 있기 때문입니다. 하지만 지금의 모습은 이미 지금 세상에서 가진 모습이니까 다른 세상에서는 다른 모습이고 싶기도 합니다. 날 수 있어도 좋을 것 같습니다. 저는 벌새를 굉장히 좋아하는데 벌새 모습의 캐릭터도 좋을 것 같습니다. 아니면 커다란 용도 좋을 것 같습니다. 아바타는 굉장히 재밌고 언제든 변할 수도 있습니다. 질문에 답을 다시 한다면 매번 변할 것 같습니다. 어쩌면 매일매일 바뀔 수도 있고 종종 바뀔 수도 있을 것입니다. 그때그때 다르겠죠. 어쩌면 다른 세상에서는 이름표를 달고 다녀야 할 지도 모르겠습니다. 제가 만날 때마다 다른 캐릭터가 되어 있어 저를 알아보지 못할 수도 있기 때문입니다.

다른 세상에서는 또 다른 많은 멀티 페르소나를 보여주시겠군요.

네, 드디어 제가 온전하게 이해될 지도 모르겠습니다.

마지막으로 윤리적인 이슈에 대해 여쭙고 싶습니다. 기술이 좋아지다 보니 이제는 진짜 사람인지 캐릭터인지 구분하기 어려운 지경에까지 놓여 이거 괜찮을까 우려되는 면도 있습니다. 또 혹시 누가 내 정체성을 도용하면 어떻게 하나 하는 걱정도 들게 되는데요. 현재 업계에서 가장 우려하는 윤리적인 이슈는 무엇인가요?

AI와 머신러닝이 발전하면서 딥페이크[1]나 디지털 더블[2] 같은 이슈들에 벌써 우려가 제기되고 있습니다. 저희가 사용자들에게 툴을 제공할 때 사실은 여러가지를 구현할 수 있는 자유를 주거든요 그럼에도 그 툴을 어떻게 활용할 것인지에 대한 책임은 개개인 모두가 같이 져야 한다고 생각합니다.

<2018년 미국의 온라인 미디어 ‘버즈피드’가

영화감독 조든 필과 딥페이크의 위험성을 알리기 위해 만든 오바마 대통령 영상>

현재 유튜브에 보면 톰 크루즈 딥페이크 영상이나 오바마 전 미국대통령 딥페이크 영상 등을 쉽게 볼 수 있는데요. 아직까지는 그게 딥페이크라는 것을 저희가 인지하니까 재밌거나 웃기다 생각되는데 좀더 날카로운 시선으로 이런 이슈들을 들여다봐야 하는 부분이 분명 있다고 생각합니다.

[1] 인공지능(AI) 기술을 이용해 제작된 가짜 동영상 또는 제작 프로세스. 딥러닝(deep learning)과 페이크(fake)의 합성어.

[2] 실제 사람의 얼굴을 촬영한 후 움직임을 가상의 얼굴로 재현해 내는 기술. 이 기술을 이용하면 실제보다 젊거나 늙은 인물을 연기할 때 과거처럼 분장의 힘을 빌리지 않아도 된다고 한다.

<리얼루전의 키아누 리브스 주연 영화 ‘레플리카’와의 협업 장면> @Reallusion

리얼루전은 올 초 개봉된 제임스 건 감독의 영화 <수어사이드 스쿼드>, 그리고 2018년 개봉된 키아누 리브스 주연의 <레플리카>에도 참여한 세계 최고수준의 캐릭터 개발 업체인데요. 올해 SBS D포럼이 리얼루전과 함께 콜라보 할 수 있었던 것은 순전히 연사였던 닐 스티븐슨 작가가 직접 추천해주고 연결해준 덕이지만 존 마틴 부사장은 역설적이게도 팬데믹이 가져다 준 기회이기도 하다고 전했습니다. 과거 방식이 더 이상 제대로 작동하지 않는 시기가 되면서 이전이라면 생각하지 못했을 빛나는 순간들도 몇 나타나기 시작했다는 것인데요. 이전보다 글로벌하게 더 많이 연결되고 기회가 더 열리고 같이 일할 수 있는 여지가 더 커졌다는 것입니다. 그러면서 SBS D포럼과의 콜라보도 그런 순간이었다고 전했습니다.

닐 스티븐슨 세션의 메타버스 체험은 캐릭터를 만들어준 리얼루전 외에도 에픽게임즈와의 협업이 있어 가능했는데요. ‘에픽게임즈’와의 인터뷰는 1월 중 추가로 전해드릴 예정입니다.

혹시 ‘SDF다이어리’ 내용 관련해 궁금하거나 코멘트 하고 싶은 것이 있는 분들은 언제든 회신으로 피드백 주시면 성실히 읽고 반영하겠습니다. 메일 보내듯 답신 보내주시면 sdf@sbs.co.kr로 저희와 바로 연결됩니다. 분위기는 많이 꿀꿀하지만 모두 안전하고 편안한 성탄 주말 되시길 바랍니다.

SDF 다이어리는 SDF 참가자 중 수신 동의하신 분들과 SDF 다이어리를 구독한 분들께 발송되었습니다.

일주일에 한번 (수요일에) 만나요!

📬 SDF 다이어리에서 나눈 지난 이야기

2021.12.15 │ 연사들이 보낸 편지 [Ep.83]

2021.12.08 │ 대변혁기, 리더의 조건 [Ep.82]

2021.12.01 │ SDF2021 관객의 생각은? 참가자 설문조사 결과 공개 [Ep.81]

📭 구독 추천은 이 링크(https://page.stibee.com/subscriptions/67025)를 복사해서 전달해주세요.

📪 수신거부를 원하신다면 여기를 눌러주세요.

SDF DIARY 를 만드는 사람들

이정애 기자 : 다양한 사람들이 머리를 맞대고 마음을 모으면 해결하지 못하는 문제는 없다 믿으며 SBS D포럼을 총괄 기획해 오고 있습니다. 사회부, 국제부, 경제부, 시사고발프로그램 ‘뉴스추적’ 등을 거쳤으며 2005년부터 ‘미래부’에서 기술과 미디어의 변화, 그리고 보다 나은 세상을 위해 어떻게 다르게 같이 살아가야 할 지 고민해 오고 있습니다.

최예진 작가 : 시사, 뉴스, 선거 방송 등 다양한 프로그램들을 경험했고 2018년부터 D포럼을 기획‧구성하고 있습니다. 지식 포럼을 조금 더 대중 친화적으로, '가까이 와닿는' 포럼으로 만들고 싶습니다.

채희선 기자 : 2010년에 기자 생활을 시작했습니다. 사건, 법조, 경제·산업, 방송통신정책, IT 등 다양한 분야를 취재했습니다. 뉴미디어국 비디오머그 등에서 일하면서부터는 "'무엇'을 '어떻게' 말할 것인가"에 더욱 관심이 높아졌습니다. 2022년 SBS D포럼을 기획하는 미래팀에서 무엇을 보도해야 할지, 구독자님들과 소통하며 함께 고민하고 싶습니다.

박준석 프로그램 매니저 : 다양성, 꿈, 데이터, 민주주의, 존엄성을 화두로 깨어있는 개인들에게 다가가고 있는 SBS D포럼을 진심으로 응원하며 팀원들과 함께 행복을 주는 콘텐츠를 만들어가고 있습니다. SBS D포럼이 새로운 뉴스 플랫폼으로 한걸음씩 잘 진화해 나가기를 기원하고 있으며, 특히 글로벌하게도 그 선한 영향력을 잘 이어갈 수 있도록 관심을 기울이고 노력하고 있습니다.

임세종 촬영감독 : 현재 SDF 팀의 촬영 감독을 맡고 있습니다. 사람들과 협업을 중요시하는 프리랜서로 다양한 활동을 하고 있습니다.

신소희 아트디렉터 : SDF 디자인을 담당하고 있습니다. 다양한 공감이 세상을 바꾼다고 생각합니다. 제 손이 닿은 곳에서도 공감과 에너지가 전달되길 바라는 마음으로 임하고 있습니다.

송현주 마케터 : SDF의 SNS를 관리하고 있습니다. 다양한 채널과 콘텐츠로 더 많은 분들과 함께 SDF의 지식을 공유하고 싶습니다.

미래를 여는 담대한 도전 SBS SDF │ sdf@sbs.co.kr

서울시 양천구 목동서로 161 SBS방송센터 보도본부 논설위원실 미래팀

수신거부 Unsubscribe

SDF다이어리를 구독하고 이메일로 받아보세요

지적인 당신을 위한 인사이트를 배달합니다.

이전 뉴스레터

연사들이 보낸 편지 [SDF다이어리 Ep.83]

2021. 12. 15.

다음 뉴스레터

연말엔 이 콘텐츠 어떠세요? [SDF다이어리 Ep.85]

2021. 12. 29.

SDF다이어리

지적인 당신을 위한 인사이트를 배달합니다.