‘AI 화정’의 비밀 [SDF다이어리 Ep.162]

네, 데이터 문제이거든요. 저희가 녹음본에서 문장을 뽑다 보니까 저희 마음대로 알맞은 문장을 뽑아내지를 못해요. 이번 프로젝트를 하면서 절실히 느낀 게, 다른 분의 말을 빌리자면 앤드류 응이라고 세계 4대 AI석학으로 꼽히는 분이 있는데요. 지난달 한국에 와서 강연도 하셨는데, 제가 그분의 강의를 들은 적이 있어요. 거기서 나온 내용이 “AI 프로젝트에 80%가 데이터고 20%가 모델이다” 그런 말을 했습니다. 프로젝트의 성패는 데이터가 80%를 결정한다는 것이었는데요. 이번 프로젝트를 시작할 때 저도 처음에는 무작정 많은 문장을 넣으면 거기서 그냥 발음 잘 못 한 부분까지 알아서 걸러주지 않을까 생각하고 데이터를 많이 넣었어요. 막 4 천문장, 5 천문장 정제되지 않은 문장들을 넣었는데요. 그랬더니 전혀 안 나오더라고요. 그래서 안 되겠다 싶어서 한 땀 한 땀 좋은 문장을 편집해서 넣었더니 오히려 400 문장만 넣어도 4 천문장 넣은 것보다 훨씬 잘 나오는 거예요. 그래서 정말로 데이터가 모든 품질을 결정하는구나 느끼게 되었습니다. 

그리고 사람들이 원하는 최화정의 목소리는 약간 업된 톤인 것 같아요. 그런데 저희가 쓸 수 있는 데이터가 사연을 읽는 것에서 뽑은 것이 많다 보니 최화정 씨 본인도 그렇게 얘기를 했던 것 같은데 ‘AI 화정은 너무 점잖다’라는 얘기를 하더라고요. 앞으로 이것을 업그레이드시켜 본다면 한두 가지 버전을 더 학습시켜서 하이톤 버전, 차분한 톤 얘기하는 버전으로 그때그때 상황에 맞춰서 이 문장은 1번톤으로, 이 문장은 2번 톤으로 할 수 있다면 조금 더 활용도가 높지 않을까 그런 생각도 했습니다.

나름대로 유의미하게 생각한 부분은 저희가 SBS에서 자체 개발한 기술을 가지고 순수하게 저희 기술을 활용해서 뭔가를 만들었다는 것이 가장 큰 의미였던 것 같고요. AI선곡은 청취자에게는 직관적으로 받아들여지는 것이 아니기 때문에 ‘AI보이스’가 AI를 대표하게 된 것 같아요.

그리고 아직은 사람들한테 AI가 받아들여지는데 호불호가 갈리는구나 그런 대중의 인식을 확인할 수 있었던 것도 좋았습니다. 그리고 선곡시스템은 아무래도 (데이터베이스를 학습한) AI만큼 피디들이 모든 노래를 다 알 수는 없다 보니 도움을 주는구나 잘 활용하면 좋겠구나를 느꼈고요. 그렇지만 ‘반드시 마지막 결정권은 피디가 해야 되는 게 맞는구나’ 하는 것을 재차 확인할 수 있는 특집이었습니다.

준비 기간이 짧아서 데이터가 적다 보니 아직은 완벽하지 못한 부분들이 좀 아쉬웠고요. 그럼에도 불구하고 저희가 이것을 해 가지고 여러 가지 되게 많은 경험을 얻을 수 있었습니다. ‘향후에 어떻게 하면 좀 더 잘 만들 수 있겠다’ 노하우도 얻었고, 그런 면에서는 라디오센터나 저희나 다 서로 도움이 되지 않았을까? 여러 가지 기술적인 부분이나 미래에 대해 고민하는 부분이 많았기 때문에 다들 좋은 자극이 된 것 같아요.

듣는 청취자의 입장에서는 사실 아직 AI가 너무 완벽하지는 않아서 오히려 안심이 드는 부분도 있었는데요. 너무 완벽했으면 정말 무섭지 않았을까 하는 생각도 들었습니다.

마지막으로 추후 이런 것도 해보고 싶다 상상하는 게 있는지 물었는데요. 김찬웅 CP는 다른 DJ들도 자기 목소리를 만들어 달라는 분들이 많아서 여러 DJ들의 목소리가 같이 나오는 프로그램도 재밌지 않을까? 하는 의견을 전했고, 류경민 차장은 모든 것에 대답하는 AI 말고, 특정 분야로 한정해서 예를 들어 ‘라디오 사연에 반응하는 AI보이스’ 하는 식으로 한정해, ‘라디오에서 쓸 수 있는 생성형 대화모델’도 개발해 볼 수 있지 않을까 생각했다고 했습니다. 물론 ‘라디오센터에서 원한다면’이라는 전제를 달면서요. 이런 이야기들까지 무르익었을 때 김찬웅 CP가 전한 마지막 말이 새삼 기억에 남았는데요.

“한 2~3년 전부터 故 신해철 씨 관련된 방송분을 이용해서 목소리를 추출해 방송을 다시 하자라는 나름의 논의가 있었거든요. 그런데 가장 크게 가로막았던 것이 이 사람이 이 목소리로 내는 의견이 과연 누구의 의견인가?라는 되게 ‘윤리적인 문제’가 생기더라고요. 고인이 갖고 있는 캐릭터가 물론 있지만 AI가 이것을 습득해서 (고인과는) 다른 의견을 냈을 때, 그리고 그 목소리가 나갔을 때 누가 책임질 것인가? 하는 얘기들이 나왔고, 고인의 가족도 안 썼으면 좋겠다 해서 기획을 멈춘 부분이 있습니다. 이번 건은 저희가 문장을 쓰면 AI가 읽기만 한 방식이라서 걱정을 덜었지만 정말 생성형 AI와 대화를 하는 방식을 개발한다면 지금에는 없던 캐릭터가 되어야겠구나 누군가의 캐릭터로 할 수는 없겠다는 생각이 들었습니다.

기존의 인물을 생성형 AI로 만들어 사실인지 아닌지 분간할 수 없게 만들어 문제가 되는 ‘딥페이크’랑도 다 연결되는 얘기들이었는데요. 여러분은 이번 SBS의 ‘AI 보이스’ 특집 어떻게 느끼셨나요? AI 보이스에 대한 호불호를 떠나 상대를 알고 나를 알아야 위태롭지 않다는 점에서라도 저는 지금이 AI에 대한 더 많은 고민과 실험이 필요한 때라는 생각이 새삼 들었습니다.