[빅데이터와 AI윤리] AI 윤리, 트롤리 딜레마

빅데이터와 AI 기술은 분명 우리 사회가 직면한 많은 문제와 과제를 해결할 수 있는 잠재력을 지녔습니다. 

잠재력이 발휘되고 기술이 이용자에게 지속 가능한 편익을 제공할 수 있으려면 인권의 보장, 공정성, 투명성, 책무성, 책임성, 안정성, 포용성, 보안 및 프라이버시 등 윤리적·법제도적 문제에 관한 충분한 성찰이 뒷받침돼야 합니다.

 

 

 

'원칙' 설파만으로는 AI 윤리가 실현되지 않는다는 점도 분명히 인식해야 합니다.

예를 들어 AI에 '인간에게 이로운 선택을 하라'는 규범을 습득하게 한다고 합니다.

어떤 선택이 인간에게 이로운지 아닌지 여부는 누가 결정할 수 있을까요.

구체적인 상황과 맥락에서 해당 판단이 누군가에게는 이롭고 누군가에게는 이롭지 않다면 AI는 어떤 선택을 해야 할까요.

AI든, 인간이든 발생할 모든 상황을 미리 고려해 정확한 윤리 판단 구조를 짜는 것은 사실상 불가능합니다.

현재는 유효하고 적절한 판단이 5년 후, 10년 후에도 계속 옳다고 장담하기도 어렵습니다.

단순한 '규칙' 내지 '원칙' 제시가 아닌 복잡한 '경험' 기반의 윤리 구현 방식이 병행돼야 하는 이유입니다.

세부 상황을 가정해 타당한 윤리를 모색하는 이른바 경험 기반 윤리는 제조사 혼자서 구현할 수 있는 성질의 것이 아닙니다.

사회 구성원 모두가 납득하고 공유할 수 있는 가치에 대한 충분한 토론과 고민, 합의가 있어야 합니다.

AI 윤리를 구현하는 일은 끝없는 소통과 상호작용이 필요한 지루하고 느린 작업일지 모릅니다.

그렇기에 AI 제조자, 이용자, 기업, 전문가, 국제사회 등 AI를 활용하는 우리 사회의 모든 구성원은 AI 윤리성에 관해 지속적으로 관심을 기울이고, 문제를 제기하며, 설명을 요구하고, 그 안에 담긴 차별과 모순을 발견해야 할 의무 앞에 놓여있습니다.

그래야만 AI 위험성을 사전 혹은 진행 과정에서 감지하고 이를 바로잡아 진정한 '사람 중심의 AI'를 실현하는 방향으로 나아갈 수 있습니다.

 

◇ 데이터 편향과 트롤리 딜레마

백인 남성 1% vs 흑인 여성 35%. 

이 수치는 인종과 성별에 따른 '인공지능(AI)의 안면인식 오류율'을 의미합니다.

MIT 미디어랩이 2018년 발표한 자료에 따르면, AI가 백인 남성 얼굴을 인식하는 과정에서 오류를 일으킬 확률은 단 1%에 불과하지만, 남성에서 여성, 백인에서 유색인종으로 갈수록 오류율은 점점 높아져 흑인 여성의 경우에는 오류 발생 확률이 35%까지 상승합니다. 실제로 미국에서는 구글 포토 애플리케이션 알고리즘이 흑인 여성의 사진 데이터에 '사람(human)'이 아닌 '유인원(apes)' '고릴라(gorillas)'와 같은 단어를 자동 태그한 사실이 밝혀지기도 했습니다. AI 알고리즘 개발자의 대부분이 25살부터 50살 사이 백인 남성이고, AI가 학습한 데이터도 백인 남성에 편중된 현실이 반영된 결과라는 분석이 나왔습니다.

데이터는 이미 편견으로 가득 찬 세상을 반영하는 거울이므로, 데이터를 학습한 AI가 왜곡과 차별을 일으키는 것은 어쩌면 당연한 귀결입니다. 하지만 '데이터'에 규모와 속도를 더하면 '빅데이터'라는 새로운 지평이 열리듯, 편향을 품은 데이터가 AI 알고리즘의 데이터 처리 능력과 속도를 만나 만들어내는 결과는 우리의 예상을 뛰어넘을 가능성이 큽니다.

윤리학과 형법 분야에서 종종 논의되는 '트롤리 딜레마(Trolley Dilemma)'를 떠올려 봅시다.

내용은 이렇습니다.

 

"빠르게 달리는 트롤리(전차)가 있다. 전차는 운행 중 이상이 생겨 제어불능 상태가 된다. 이대로 둔다면 전차는 원래 행로를 달릴 것이고, 진행 방향 선로에 묶인 5명은 사고를 면치 못한다. 이때 전철기를 조작하면 전차를 다른 선로로 보낼 수 있다. 이 경우 원래 죽을 위기였던 5명은 살릴 수 있지만, 다른 선로에 묶인 1명은 사고를 피할 수 없다. 어느 쪽도 대피할 시간은 없다. 이때 전철기 레버를 작동해 진행 중인 전차 방향을 바꾸는 것은 허용될 것인가?"

누구도 트롤리 딜레마에 선뜻 답하기는 어렵습니다. 사람의 생명은 경중 없이 존엄하며, 다섯 사람의 생명이 한 사람의 생명보다 귀하다고 단언할 수도 없기 때문입니다. 그런데 이 문제를 조금만 변형해서 선로 한 쪽에는 사람이, 다른 한쪽에는 고릴라가 묶여 있다고 한다면 어떨까? 이제 선택의 무게는 한결 가벼워집니다. 마음은 아프겠지만, 우리는 대부분 고릴라가 묶인 쪽으로 방향을 전환하는 쪽을 택할 것입니다. AI 윤리 이슈가 담고 있는 함의는 이와 관련돼 있습니다.

즉 어느 무인자동차 앞 한 쪽 도로에는 백인 남성이, 다른 한 쪽에는 흑인 여성이 길을 건너고 있다고 가정합시다. 이때 자동차 알고리즘이 백인 남성 보행자는 인간으로 인식했지만, 흑인 여성 보행자에 대해서는 데이터 편향에 따른 오판을 일으켜 인간이 아닌 고릴라로 인식했다면? 사고를 피할 수 없다는 전제 아래 무인자동차는 고릴라(실제로는 흑인 여성)를 향해 핸들을 꺾게 될 것입니다.

우리가 무인자동차 판단을 완전히 신뢰할 수 없다면, 자율주행차 상용화는 생각보다 오랜 시간이 걸릴지 모릅니다. 의료 분야에서 AI 진단과 판단, 치료법 선택에 관해 이유와 근거를 파악하는 것이 용이하지 않다면, 우리는 환자 생명과 직결된 문제를 AI에 맡길 수 없다. 제조업 분야에서는 어떤 과정에서 불량품이 생산됐는지 정확히 알 수 있어야 이를 개선하고 책임을 지울 수 있습니다. 채용이나 승진 등 절차에서 업무 역량에 대한 평가 근거가 모호하다면 공정한 사회에 대한 신뢰가 무너질 수 있습니다.

 

 

◇ 사후 구제 vs 사전 규제

AI가 구체화되기 이전의 사회에서도 편견이나 차별은 있었고, 이에 책임을 묻는 여러 법제도가 마련됐습니다. 

그렇다면 AI라고 특별히 취급할 것 없이, AI 개발자나 사용자에게 민사법상 손해배상이나 원상회복 책임을 지우는 방식으로 피해를 구제하면 되지 않을까요? 

여기에는 몇 가지 까다로운 문제가 도사리고 있습니다. 

 

AI의 차별 행위로 인해 근거 없이 회사 승진 심사에서 탈락한 A가 있다고 합시다. A는 억울하고 분한 마음에 AI 제조사와 이를 활용해 A를 승진심사에서 탈락시킨 회사 등에 손해배상을 청구하고 싶습니다. 여기에는 어떤 걸림돌이 있을까요.

첫째, A가 법적 책임을 물을 대상이 누구인지 분명치 않습니다. 

우선 현행법상 AI에는 고의·과실 및 책임 능력이 인정되지 않습니다.

AI에 직접 손해배상을 청구하기 어렵다는 뜻입니다. 그렇다면 AI 자체 결함을 이유로 제조사에 '제조물 책임'을 묻거나, AI 자체에는 결함이 없더라도 이를 활용하는 과정에서 관리감독 의무를 소홀히 한 회사에 '사용자책임'을 물을 수는 있을까요? 논란은 아직 진행 중이지만, 제조물책임법상 소프트웨어(SW)에 해당하는 AI를 '제조물'로 인정해 책임을 묻는 것이 현행법상 자연스럽지는 않습니다. 민법상 사용자 책임을 묻기도 쉽지 않습니다. 민법상 사용자 책임이 성립하려면 우선 AI를 회사와 사용관계에 있는 '피용자'로 볼 수 있어야 하는데, 우리 법상 피용자는 권리의무의 주체가 되는 인간을 전제하고 있기 때문입니다.

둘째, 만일 문제가 해소돼 책임 추궁을 할 상대방이 확정됐다고 하더라도, 절차법적으로 지식재산권 보호와 대립하는 문제가 발생할 수 있습니다. 

제조사 혹은 회사의 법적 책임이 성립하는지 확인하려면 AI 결함이나 잘못된 판단(승진 적격자인 A를 부적격자로 잘못 판단한 행위) 및 이로 인해 발생한 손해(억울하게 승진에서 탈락함으로 인해 발생한 피해)와 둘 사이의 인과관계 등 책임 성립 요건을 살펴봐야 하는데, 이 과정에서 AI SW설계도에 해당하는 소스코드에 접근할 필요성이 발생하기 때문입니다. 법원 등이 AI를 만든 제조사 혹은 AI를 사용한 회사에 영업비밀 등 지식재산권으로 보호받고 있는 내용을 광범위하게 공개하라고 강제할 수 있을 것인가의 이슈가 바로 지식재산권을 법률로 보호하는 기존 법체계와 갈등 문제입니다.

셋째, AI 불투명성에 기인하는 문제도 있습니다. 

AI 딥러닝 구조는 비선형적 알고리즘에 기반으로 한 복잡한 구조를 띠기 때문에, 어떤 입력 데이터가 결과에 기여했는지를 구체적으로 파악하고 인과관계를 증명하는 것이 어렵습니다. 이를 AI의 '블랙박스적 특징'이라고 합니다. 앞의 예에서 언급한 지식재산권 보호 문제를 해결하고 AI 소스코드를 파악해 알고리즘의 의사결정 과정을 추적하는 단계로 나아갔다고 하더라도, AI의 판단 근거를 명확히 파악하고 설명해내는 것이 현실적으로 불가능할 수 있다는 의미입니다. 복잡도가 일정 수준을 넘어서는 알고리즘을 사후적으로 설명하고 검증하는 것은 해당 알고리즘을 직접 설계한 개발자에게도 쉽지 않은 문제이기 때문입니다.

넷째, 증명을 위해 소요되는 시간과 비용이 적지 않다는 현실 문제도 있습니다. 

만일 AI의 판단 과정에 대한 추적에 법제도적 걸림돌이 해소되더라도, 재판 등 진행 과정에서 이를 실행하기 위해서는 해당 AI 알고리즘에 대한 구체적 이해 및 의사결정 과정에 대한 사후적인 추적과 검증이 필요합니다. 이를 위해 드는 시간과 비용이 과다해 현실적으로 적절한 피해 구제 수단이 되지 못할 수 있다는 얘기입니다. 게다가 비용 문제를 고려해 전수조사가 아닌 표본조사를 시행할 경우에는 이에 따른 검증 신뢰성 문제가 제기될 가능성도 상당합니다.

나아가 이러한 문제 모두 해결돼 AI의 잘못된 판단에 대한 법적 책임이 인정되더라도, 인간의 생명이나 명예와 같은 정말 중요한 가치는 사후적인 금전적 손해배상만으로는 완전히 회복되지 않는 경우가 많습니다. AI의 잘못된 판단으로 인한 피해 구제가 항상 사후적으로만 가능하다면, 이용자는 일상적으로 예측불허의 위험에 노출돼 해당 AI를 신뢰하고 사용하기 어려워질 것입니다. 결국, 보다 적극적인 이용자 권리 보호와 피해 구제를 위해 AI 판단과 관련한 문제 상황이 발생하기 이전에 AI 알고리즘을 사전적으로 정밀하게 규제할 필요성이 있습니다. 이를 반영한 대표 규제 사례가 2018년 5월 발효된 'EU 일반 개인정보보호법(GDPR)'입니다.

일례로 GDPR는 제22조 제1항에서 '오로지 AI의 자동화된 판단에만 의존해 중대한 법적 효과를 창출하는 판단을 받지 않을 권리'를 규정하고, 알고리즘에 기반으로 한 자동화된 의사결정에 대해서는 정보 주체가 이의를 제기할 권리를 보장하고 있습니다. 이용자에게 프로파일링 기반의 알고리즘 결정에 관해 설명을 요구할 기회를 부여함과 동시에, 알고리즘 설계 과정에서 인간의 개입 필요성을 강조한 것입니다.

EU 외 다른 국가에서도 AI 윤리와 관련한 법제화 움직임이 일고 있습니다. 

미국에서는 안면인식 기술 이용을 일부 제한하는 내용의 '상용 안면인식 프라이버시 법안'이나 안면인식 및 타깃 광고 등에 머신러닝 기반 시스템을 활용할 경우, 편견 방지를 위한 감사 의무를 규정한 '알고리즘 책임 법안' 등이 발의된 상태입니다.

 

◇ 기업의 AI 윤리 관심

AI는 딥러닝 알고리즘의 특성상 제작 및 개발 단계에서 이미 수많은 데이터를 스스로 학습합니다.

관련 기술이 고도화될수록 우리는 그 내부 구조를 알기가 점점 더 어려워집니다.

사후 개입이 거의 불가능에 가깝다는 설명입니다.

이는 AI 윤리 문제 해결 없이는 기술 고도화 내지 사업 안착이나 성공을 상상하기 어렵다는 말로도 이해됩니다.

실제로 마이크로소프트(MS)의 '테이(TAY)'는 10대 청소년과 대화하는 챗봇으로 개발됐으나, 서비스 개시 16시간 만에 운영이 중단된 전력이 있습니다. 트위터를 통해 언어를 습득한 테이가 차마 입에 담기 민망하고 무례하기 짝이 없는 편견에 쌓인 발언을 거침없이 내뱉은 때문이었다. 그런가 하면 아마존이 개발한 AI 채용 알고리즘은 입사 전형에서 여성 지원자 혹은 여대를 나온 지원자에게는 감점 처리를 하는 등 불이익을 준 사실이 밝혀져 시스템이 폐기되기에 이르렀습니다. 원인은 채용 알고리즘이 학습한 지원서 데이터 자체가 남성 지원자 위주로만 채워졌기 때문이었다고 합니다.

실패 경험을 통해, 세계 각국의 IT기업은 무너진 신뢰 회복을 위해 자체적으로 AI 윤리 가이드라인이나 지침을 만드는 한편, 정부에도 관련 규제를 촉구하기 시작했습니다. 2016년에는 구글, MS, 아마존, IBM, 페이스북 등 글로벌 IT기업이 함께 '파트너십 온 AI'라는 비영리단체를 만들어 AI 기술로 인한 부작용을 최소화하는 연구 단체와 위원회를 지원하기 시작했습니다. 2017년 1월 아실로마에서는 알파고 개발자인 데미스 허사비스, 테슬라의 CEO 일론 머스크, 구글의 기술이사이자 '특이점'의 주창자인 레이 커즈와일 등 2000여명의 기업인과 연구자는 인류에 도움이 되는 안전한 AI 개발을 목표로 하는 윤리와 가치를 규정한 23개 원칙에 서명했습니다.

MS는 2017년 자사의 AI 연구인력을 대상으로 AI 윤리 규칙을 담은 'AI 디자인 원칙'과 'AI 윤리 디자인 가이드'를 제시한 데 이어 2019년에는 AI 윤리 구현에 필요한 기준을 명시한 '책임 AI 원칙'을 발표했습니다.

구글은 2018년 미국 국방부 무인항공기 프로젝트에 AI 기술을 제공하는 계약을 체결하면서 'AI 윤리지침'을 발표했습니다.

AI '왓슨'과 일본 소프트뱅크와 합작해 만든 로봇 '나오미'를 보유한 IBM은 MS와 함께 2020년 3월 로마 교황청이 제안한 'AI 윤리를 위한 로마콜' 동참을 선언했습니다.

국내 기업 중에는 가장 먼저 카카오가 2018년 1월 '알고리즘 윤리 헌장'을 발표한 후 이를 보완하는 작업을 진행 중입니다.

 

출처:

etnews.com/20200602000088