윤리적인 AI(인공지능)는 누가 만드나? - 이루다가 쏘아올린 과제들

윤리적인 AI(인공지능)는 누가 만드나? - 이루다가 쏘아올린 과제들 - [SDF다이어리 Ep.47]

2021. 3. 30.

윤리적인 AI(인공지능)는 누가 만드나? - 이루다가 쏘아올린 과제들 - [SDF다이어리 Ep.47]

안녕하세요, 구독자 여러분.

오늘 뉴스레터는 다음 질문으로 시작해 보려고 합니다. 혹시 ‘말뭉치’라는 단어 들어보셨나요? 힌트는 AI입니다. 올해 초 화제가 됐던 AI 관련 뉴스들을 유심히 보셨다면, 아실 수도 있어요.

개념용어

말뭉치¹: 컴퓨터로 가공, 처리하고 분석할 수 있도록 저장된 언어의 자료이다. 작게는 시집 한 권이나 소설 한 권으로부터 수천만 어절 이상의 말 또는 글로 표현된 각종 자료에 이르기까지, 다양한 크기의 자료 모음을 모두 말뭉치라 할 수 있다.

--------------------------------------------------------------------------------------------------------------

¹ 말뭉치의 개념은 20세기 전반 미국의 구조주의적 언어학에서부터 있었다. 실증적 자료를 중시하던 당시 언어학의 풍토에서 실제 말이나 글로 발화되거나 표현된 언어 자료는 언어 연구의 전제 조건이었고, 실제 사용된 언어 자료를 그대로 모아 놓은 말뭉치는 언어 연구의 기초로 여겨졌다. 1963년부터 2년 간에 걸쳐 100만 어절로 구축된 브라운 말뭉치(Brown Corpus)를 시초로 하여 컴퓨터를 이용한 구축이 본격화 되었으며 1990년대에는 1억 어절 이상의 영국 국가 말뭉치(BNC: British National Corpus)가 구축되었다. <출처: 한국민족문화대백과>

말뭉치는 우리가 실제로 쓰는 말과 글을 모아놓은 빅데이터(corpus)입니다. 챗봇이나 인공지능(AI)이 사람의 말을 알아들을 수 있으려면 평소 다양한 말뭉치로 학습해야 합니다. 따라서 우리나라 AI 기술의 성능은 한국어 말뭉치 확보에 달려 있다고 해도 과언이 아닙니다. 국립국어원도 이런 흐름에 발맞춰 정부 예산 204억원을 들여 국내 AI업계가 활용할 수 있는 ‘모두의 말뭉치’ 사업을 시작했습니다.

▸ 출처 : 국립국어원 홈페이지

‘말뭉치’를 화제로 꺼낸 건 ‘이루다’ 논란을 이야기해보기 위해서입니다. 올해 초 인공지능 대화 서비스 챗봇 ‘이루다’가 출시 24일 만에 서비스 중단된 것, 기억하고 계실 텐데요.

이루다 논란의 내용은 크게 두 가지로 나눠볼 수 있습니다. 먼저, 이루다가 이용자와 대화 중 소수자 비하 등 혐오와 차별 발언을 했다는 지적인데요. 이용자가 레즈비언에 대한 생각을 물으면 “진짜 싫다”, “혐오스럽다”, “질 떨어져 보인다”, “소름 끼친다” 등의 대답을 한다는 것이었습니다. 또 하나는 이루다 개발에 쓰인 SNS 대화 데이터가 위법하게 수집됐다는 의혹입니다. 개발사가 개인정보와 저작권 동의를 제대로 받지 않았다는 의혹으로, 법적 책임으로 이어질 가능성이 제기되고 있습니다.

그간 인공지능은 엄청난 양의 데이터를 처리할 수 있는 빅데이터 기술과 스스로 학습하는 머신러닝 기술을 통해 발전했습니다. 특히 인간의 뇌를 모방한 딥러닝 알고리즘의 등장으로 인공지능은 폭발적인 성능을 갖게 됐는데요, 챗봇은 이용자 패턴에 따라 스스로 학습하는 바로 이 딥러닝 알고리즘으로 운영됩니다. 따라서 우리가 ‘이루다 사건’이라고 통칭하는 이번 논란은 결국, 이루다 서비스가 엄청난 양의 데이터-말뭉치 데이터베이스-를 어떻게 활용했는가로 귀결되는 것입니다.

해외에선 이루다 사건과 비슷한 AI 이슈를 예견하거나 분석한 연구가 활발하게 이뤄지고 있는 편입니다. 그에 비하면 국내에선 AI 편향성과 데이터 공정성 관련 연구가 매우 미비한 상태인데요.

고학수 한국인공지능법학회장(서울대 로스쿨 교수)은 이루다 사건은 AI 개발에 중요한 계기가 됐으며 풀기 어려운, 무거운 화두들을 잔뜩 던졌다고 평가합니다. 그동안 새로운 서비스나 기술을 추진할 때 진지하게 검토하지 않았던 법, 윤리, 철학이 실은 얼마나 중요한 요소들인지 깨닫게 했다는 것입니다. 따라서, 이번 논란이 서비스 중단 차원이 아닌 연구와 논의의 출발점이 돼야 한다고 강조합니다.

다음은 지난 25일, 서울대 AI연구원에서 진행된 고학수 교수의 인터뷰입니다.

Q. AI 챗봇 이루다가 우리 사회에 남긴 과제에 주목해야 한다는 목소리가 높습니다.

5년 전 우리 사회는 알파고를 보면서 “인공지능 기술이 이제 이런 것까지 해낼 수 있구나” 하는 것을 알게 됐죠. 이루다 사건은 “AI 기술이 일상에 깊숙이 들어오면서 이런 고민거리들이 새로 생겨났구나” 라는 것을 알게 했어요. 아마 5년, 10년 후에는 지금의 이루다 논란을 AI 기술이 일반화되는 과정에서 발생한 불가피한 사건으로 바라보게 되지 않을까 싶어요. 그렇다 해도 그게 왜 이루다여야 했는가, 하는 질문은 남게 됩니다. 아시겠지만 이루다 개발사가 지금 법적인 문제로 조사를 받고 있기 때문에 그 부분은 좀 더 지켜보고 생각해봐야 할 것 같아요.

Q. 인공지능은 운영 매커니즘상 혐오와 차별 이슈에 취약할 수밖에 없다는 의견이 있는데요. 어떻게 생각하시는지요.

AI 운영을 위해선 학습용 데이터를 구축해야 합니다. 챗봇 서비스의 경우, 우리가 평소 사용하는 채팅이나 메신저 대화가 데이터, 즉 재료인 셈입니다. 사람들끼리 나눈 메신저 대화 내용에 혐오 발언이라든지 권장하기 어려운, 부적절한 내용이 담겨 있을 수 있죠. 그렇다면 그런 표현들을 학습용 데이터로 만들어낼 때 어떻게 걸러낼 거냐, 하는 질문이 남는 거예요.

기술적으로 한계가 명백한 문제입니다. 혐오 표현이라는 것의 기준이 사회 규범에 따라 오늘 다르고 반년, 1년 후에 또 다르거든요. 어떤 특정한 혐오 표현 한두 개를 추출해내는 것만으로는 부족하고, 전체 맥락을 봐야 하는 경우도 있고요. 그래서 문제의 가능성은 언제나 반드시 남아 있게 됩니다. 혐오 발언으로부터 완전히 자유로운 AI는 애초에 존재하지 않고요. 개발 과정에서 주기적으로 검토하고 반영하는 메커니즘을 갖추는 것이 핵심입니다.

Q. 엄밀히 말하면, 차별은 인간사회에서도 언제, 어디서든 이뤄지고 있지 않습니까. 인간이 하는 차별과 AI가 하는 차별이 다른가요?

인간이 하는 차별은 입증이 쉽지 않죠. 사람의 속내를 알 수가 없기 때문에 심증은 있을 수 있어도 확인할 수 없어요. 차별을 행하는 본인 스스로 ‘나는 차별 안 하는 사람이야’라고 믿어버리는 경우엔 더 어려워지죠. 제3자 시각에서 보면 그렇지 않은데도 그렇게 믿어버리는 거예요.

인공지능은 이에 비하면 입증이 수월한 부분이 있어요. 어떤 학습 데이터, 알고리즘이 이용됐는지 알 수 있다면 차별적인 결과가 나올 때, 어느 정도 원인을 파악할 수 있는 거죠. 다만, 그 전제는 해당 인공지능이 어떤 모형이고, 그 모형을 위해서 어떤 데이터와 알고리즘이 쓰였는지 파악할 수 있어야 한다는 거예요. 흔히들 인공지능을 ‘블랙박스’ 같다고 말하는데, 매커니즘이 투명하지 않은 AI라면 사람이 행한 차별처럼 입증이 어려운 건 마찬가지예요.

Q. AI의 차별을 사전에 방지할 수 있는 방법은 없는 걸까요?

직접 차별, 간접 차별로 나눠 생각해보죠. 직접 차별은 말하자면 대놓고 차별하는 거예요. 회사에서 고용을 하는데 ‘특정한 대학 출신, 혹은 성별, 성적 지향을 가진 사람은 안돼’ 이렇게 정해놓는 식이죠. 간접 차별은 나중에 결과를 봤더니 이건 차별로 볼 수밖에 없는 상황일 때를 말하는 거예요. ‘나는 차별하지 않아’ 라고 선언해도 소용 없어요. 특정 그룹에 대해서 결과적으로 불이익이 강하게 나타났다, 그렇다면 이건 차별로 볼 수밖에 없다는 거예요.

이걸 인공지능 영역으로 옮겨서 생각해 보면, 결국 데이터를 어떤 식으로 컨트롤할 것이느냐의 문제가 됩니다. 예컨대 입력값에 아예 성별이나 성적 지향 관련 데이터를 포함하지 않는다, 이렇게 하면 직접 차별이 원천적으로 발생할 수 없지 않겠냐는 주장이 가능하죠. 반대로, 성별에 따른 차별이 발생했다는 결론이 나왔다. 그럼 데이터를 보정하거나 알고리즘을 수정해서 차별적인 결과를 바꾸는 방법이 있겠죠.

이론적으로는 말이 되는데, 사실 어느 쪽이든 현실에선 적용하기엔 아직 많은 과제가 남아있습니다. 먼저, 입력값을 컨트롤하는 방식부터 볼까요. 결국 빅데이터, 인공지능이라고 하는 것이 다양하고 많은 데이터를 통해서 훨씬 더 풍부한 결과를 얻어내는 게 존재 이유잖아요. 그런데 입력값을 규제하기 시작하면 애초에 우리가 인공지능을 도입하는 이유가 사라지는 거예요. 사후에 결과값을 확인한 뒤 규율하는 방식도 마찬가지예요. 과연 수치적으로 어디까지를 ‘이건 차별이다’라고 기준점으로 잡을 것인가, 하는 과제가 따라오거든요. 데이터 보정을 어떻게 어디까지 규율, 개선할 것인가, 이런 실무적인 의문들은 계속 남게 됩니다.

Q. 현실에선 이루다보다 더 노골적으로 혐오와 차별 발언을 하는 사람들이 적지 않습니다. 엉뚱한 질문일 수 있지만, 하물며 AI에게 인간보다 더 높은 수준의 윤리를 요구하는 것이 기술적으로 가능할까요. 더 나아가 AI가 꼭 모범적이고 착해야 하는 걸까? 이런 생각에까지 이르게 됩니다.

좋은 질문이라고 생각합니다. 철학적인 답을 드리는 것보다 현장 기술자에 가까운 시각에서 답을 드리고 싶어요. 챗봇 서비스를 개발하는 과정에 재료는 실제 사람들의 메신저 대화 내용이라고 말씀드렸죠. 그런데 그 중 문제가 될 소지의 내용들을 모두 걸러내서, 그러니까 세상에서 가장 순수하고, 착한 사람들이 얘기할 법한 내용만으로 학습 데이터를 만들어 낸다고 가정해 봅시다. 그렇게 만들어낸 챗봇 서비스가 출시됐다고 한다면 두 가지 이슈를 생각해볼 수 있는데요.

먼저 그런 챗봇 서비스가 출시된다면, 그래서 세상에서 가장 착한 사람이 할 법한 대화를 한다, 라고 하면 이용자의 입장에서 ‘이건 너무 비현실적이야. 따분하고 재미없어.’ 그래서 잘 안 쓰게 될 가능성이 굉장히 높습니다. 문제는 또 있습니다. 사람들의 대화 가운데 욕설과 혐오 발언을 차단하고 걸러내려면 그런 욕설 데이터가 무엇인지 알아야 할 것 아닙니까. 서비스를 준비하는 입장에서는 욕설을 가르치려면 욕설이라는 데이터가 필요한 겁니다. 세상에서 가장 착한 사람이 했을 법한 대화의 데이터베이스, 또 사람들이 실제 사용하는 혐오 발언과 욕설을 많이 한 데이터베이스. 두 개가 다 필요한 겁니다. 만약 욕설이나 혐오 발언이 담긴 DB 자체가 없다,라고 한다면 이게 욕설인지, 아닌지도 분간을 못해낼 겁니다. 개발자 입장에선 실제 권장해선 안되는 내용의 대화를 오히려 공을 들여서 마련할 필요가 있는 거죠.

Q. AI와 관련해 실정법 위반이 아니더라도 윤리적 문제가 발생할 수 있는데요. 누구에게 그 책임을 물어야 하는지요.

과거 AI 스피커 관련해 이런 일이 있었어요. AI 스피커에게 자동차에 대한 질문을 했는데, 대답하기를 “저는 여성이고요, 여성이라서 차에 관해서는 잘 모릅니다”라고 했다는 거예요. 여성이 어떤 유형의 사람이다, 라는 잘못된 스테레오 타입을 적용했던 거죠.

AI가 이런 식의 문제를 일으키면, 결국 이건 사람의 문제가 됩니다. 데이터 소스 면에서도 사람이 문제였겠지만, 그 데이터를 모아서 알고리즘을 만들고, 하드웨어를 통해 작동하게 하는 과정 전체에 개발자, 그리고 개발자가 속한 기업이 관여한 거잖아요. 인간이 제조한 모든 것들엔 문제가 생길 수 있는 여지가 있죠. 우리가 잘못된 물건이 나오면 물건이 아니라 그 물건을 만들거나 판 사람에게 책임을 묻잖아요. 같은 원리입니다. 잘못된 AI 서비스를 제공하면 그 서비스를 제공한 회사가 책임을 져야 하는 겁니다.

Q. 실제 AI와 관련한 문제가 발생했을 때, 그것이 정말 ‘문제’가 맞는지는 누가 판단하나요. 이를테면, SBS는 지상파로서 방송통신위원회나 방송통신심의위원회의 엄격한 규제를 받거든요.

이루다 논란 때 혐오 발언을 포함한 윤리적 이슈, 그리고 개인정보와 관련 이슈가 발생했는데요. 개인정보는 실정법 체계에서 바라볼 수 있는 여지가 비교적 명확하게 있고요. 혐오 발언 같은 윤리적 이슈와 관련해서는 우리 현행법에 차별과 관련된 내용이 일부 있기는 하지만 대체적으로는 (윤리 문제에 관한 현행법 이슈는) 명확하지 않은 것 같아요.

그러니 앞으로 모든 경우에 대비한 법을 만들어야 할 필요가 있지 않나, 이런 주장을 할 수 있는데 개인적으로는 아직은 조심스럽다고 생각해요. 관련 기술이 매우 빠르게 변화하고 있기 때문인데요. 아주 추상적인 대원칙 한두 개 정도는 가능하겠지만, 법에 구체적으로 어떤 내용을 담을 건지. 그리고 어떤 기준으로 판단할 건지 실무적이고 구체적인 질문을 하기 시작하면 굉장히 어려워질 겁니다.

예컨대, 인공지능에 관한 차별이나 공정성에 대해 생각해 봅시다. 실제 공학, 또는 통계학적 기준에서 정의하는 차별의 개념은 대략 20~30개 정도 있거든요. “차별이 없는 인공지능을 개발해주세요” 라고 주문하긴 쉽겠죠. 개발자 입장에선 “네, 좋습니다. 그런데 차별의 개념이 1번부터 30번까지 있는데, 어떤 차별을 말하시는 겁니까?” 이렇게 될 수 있는 거예요. 그렇다면 우리가 할 일은, 앞으로 어떤 맥락, 상황에서는 1번 차별의 개념, 또 어떤 맥락에서는 2번 차별의 개념을 적용할 것인가. 이런 것들을 논의해서 정리해야 하는 거죠. 해야 할 일이 정말 많습니다.

Q. AI와 관련해 우리가 어떤 태도와 관점을 갖는 게 좋을지 제안해주신다면요.

학계가 AI 기술 개발로 촉발된 지금과 같은 문제들에 주목한 지 3~4년 정도밖에 되지 않았어요. 굉장히 초기 단계예요. 불과 얼마 전까지도 그냥 “차별하지 말자” 이런 대원칙이 전부였거든요. 최근에야 AI로 인한 차별이 어떤 맥락에서 어떤 형태로 나타나는지 분류하고, 체계화하는 작업들이 시작됐어요. 문제가 발생할 때 법적으로, 또는 정책적으로 어떤 대책을 적용할 수 있을지 개별 연구자들이 자신의 생각을 말하기 시작하는 단계인 거죠. 그러다보니 아직 학계에 일반적이라고 말할 수 있는 방향성 같은 것도 없는 상태예요. 앞서 인공지능이 어떤 차별을 행했는지 파악하려면 해당 AI에 어떤 모형이 어떻게 작동했는지 파악할 수 있어야 한다고 말씀드렸는데요. AI 모형이 어떻게 작동하는지에 관한 주요 원칙 정도는 자발적으로 알려주는 기업도 있고요. 영업 비밀이라며 전혀 공개하지 않는 곳도 있어요. 이 경우엔 어떻게 할 것인가. 이런 부분들도 논의해볼 필요가 있습니다.

무엇보다 사회 전반적으로 인공지능 기술에 대한 이해도를 지금보다 높여야 할 필요가 있어요. 챗봇 서비스만 해도 꽤 수준 높은 대화가 가능하다 보니 일부 이용자들이 오해하는 것 같아요. AI에게 어떤 철학이 있다든지, 그래서 어려운 질문을 하면 그 철학에 기초한 답이 나올 것이라는 기대 같은 것이요. 하지만 현 시점의 챗봇 서비스란 건 그저 지금 시점에 사람들이 실제 대화에서 썼던 말뭉치를 데이터로 학습한 수준이거든요. 철학이랄까? 이런 게 있을 수 없는 상황이에요. 인공지능과 사람의 공존, 역할 분담에 대한 이야기들이 나오는데 지금의 인공지능이란 오로지 사람을 위한 존재인 것이고요. 그러니 어떻게 이것을 인간에게 유익하도록 만들 것인가. 그리고 그 과정에서 발생할 수 있는 부작용을 어떻게 최소화할 것인가. 이런 질문부터 하는 게 지금의 단계에선 가장 현실적이라고 생각합니다.

생각하는 D

인터뷰 말미, 고학수 교수는 AI와 관련된 윤리헌장, 준칙들을 정하는 일과 함께 세부적 가이드라인을 만드는 일이 필요하다고 강조했습니다. 추상적인 원칙 선언에 그치지 않아야 한다는 것인데요. 각 기업들이 AI 서비스 개발 과정에서 발생 가능한 여러 이슈들을 검토하고 이에 대비하려는 노력을 지속적으로 할 필요가 있다는 것입니다. AI의 윤리와 법 적용에 대한 여러 과제들에 대해 짚어봤습니다. 이번 주 뉴스레터 어떻게 보셨나요? SDF는 여러분의 의견을 기다립니다.

‘SDF 다이어리’를 향한 구독자의 관심과 애정은 큰 자산입니다. 다음은 구독자 ‘서시’ 님께서 ‘[SDF다이어리 Ep.41] AI 시대, 우리가 진짜 준비해야 할 것’을 읽고 블로그에 공유해주신 피드백입니다. 앞으로도 SDF 다이어리의 후기를 적어주신 구독자님이 계시면, 이 공간을 통해 자주 소개하겠습니다.

다음 주에도 더 알찬 내용으로 찾아 뵙겠습니다!

“왜 그간 AI를 인간의 노동시장을 위협하는 존재로, 경쟁의 대상으로 바라봤던 것일까? 김주호 교수님 인터뷰를 보고 충격을 느낀 이유는 나 역시도 '언젠가 AI에 밀리는 날이 오면 어떡하지?'라는 생존에 대한 두려움과 걱정을 갖고 있었기 때문이다. 직무를 선택함에 있어서도 인공지능에 매몰되지 않기 위해 '4차산업시대에 광고인으로 어떻게 살아남을 수 있을까'를 고민했다. 데이터를 반복적으로 다루는 등 패턴화된 업무가 주를 이루는 직무는 일부러 피했었다. 고민 끝에 (이기적이게도, 내가 당분간 건강하게 살아있는 한) '인간은 예측 불가능한 크리에이티브로 살아남을 것'이라는 결론을 내리게 되었다.”

블로그 ‘서시’

SDF DIARY 를 만드는 사람들

류란 기자 : 입사 12년차 SBS 보도본부 기자. 주로 법조팀과 사건팀, 영화 담당 기자로 근무했습니다. 기술의 발전과 그로 인한 사람들의 생활상의 변화에 관심이 많습니다.

이정애 기자 : 26년차 취재기자로 사회부, 경제부, 국제부, 미래부 등을 거쳤습니다. ‘뉴스추적’이라는 시사고발프로그램을 맡으면서 사안의 본질을 들여다보는 것에 관심을 갖게 됐습니다. 최근 10여년 서울디지털포럼과 미래한국리포트 등을 만들어 왔으며 2018년부터는 ‘SBS D포럼’을 총괄 기획하고 있습니다.

이종훈 기자 : 내년이면 입사 20년을 맞는 중견 기자. 인간을 둘러싼 모든 것들, 그리고 저널리즘에 관심이 많습니다. 통찰력 있는 따뜻한 시선으로 세상 구석구석을 들여다보고 많은 분들과 함께 이야기 나누고 싶습니다.

임세종 촬영감독 : 현재 SDF 팀의 촬영 감독을 맡고 있습니다. 사람들과 협업을 중요시하는 프리랜서로 다양한 활동을 하고 있습니다.