왜 AI(인공지능)가 인권의 문제일까?

인권 관점에서 AI를 이야기해야 하며, AI를 다룰 때 인권을 이야기해야 하는 이유는 두 가지 측면에서 설명할 수 있다. 첫째는 실태의 측면이다. AI 기술이 인권에 미치는 영향이 매우 크기 때문에 그 위협을 최소화하고, 기술이 인권 증진에 기여하도록 노력해야 한다. 둘째는 인식의 측면이다. AI가 인권에 기여하는 사회를 만들어가기 위해서는 기술 중심 사고에 매몰되지 말고, 사람과 인권을 의사결정의 중심에 놓아야 한다.

AI는 다양한 분야에 적용 가능한 자동화 기술이라는 점에서 모든 종류의 인권에 영향을 미칠 수 있다.
주요 위협의 유형을 살펴보자.

사생활 침해
AI 시스템을 만들고 운영하는 과정에서 기업 등 기술 개발·운영 주체는 개인정보, 소셜미디어 게시물, 사진 등 각종 데이터를 수집한다. 그러나 이러한 수집과 활용 과정은 투명하지 않다. 기업은 이용자의 데이터를 대량 보유하지만 이용자는 그 데이터가 누구를 위해 어떻게 쓰이는지 알 수 없어 권력 불균형이 심화된다. 데이터 수집과 사생활 침해 위험은 온라인 공간뿐만 아니라 안양시가 추진했다가 폐기한 관내 공중화장실 AI 성별인식 CCTV처럼 물리적 현실에서도 발생한다.

데이터 수집은 감시 및 통제와도 밀접하게 연관되어 있다. 과학기술정보통신부와 대통령경호처는 2024년 행인의 ‘위험 행동’이나 ‘긴장도’ 등을 탐지할 수 있는, 이른바 ‘군중 감시 AI’를 개발하는 연구과제를 발주했다. 이는 무차별적 촬영으로 인한 사생활 침해 우려를 낳을 뿐만 아니라, EU AI법 기준에서 ‘허용할 수 없는 위험’에 해당하는, 개인의 범죄 가능성을 평가하거나 예측하는 AI 시스템을 만들기 위한 시도였다는 점에서 문제다.

차별과 편향
AI 구축에 사용되는 데이터는 과거와 현재의 자료에 기반한다. 따라서 AI 시스템은 기존 사회의 불평등을 재생산하는 경향이 있다. 얼굴 인식, 언어·이미지 모델 등에서 선입견이 드러나고 실제 피해로 이어질 수 있다. 2018년 아마존이 개발한 AI 채용 도구는 “여성”과 연관된 단어가 포함된 이력서에 불이익을 주는 것으로 드러나 결국 폐기되었다. 이는 기존 채용 데이터가 남성 중심적으로 편향된 탓에 발생한 문제다. 무인 키오스크가 노약자를 배제하는 효과를 갖는 것처럼, AI 시스템 도입이 특정 계층의 정보 접근성을 약화시켜 디지털 격차를 심화시킬 위험도 있다.

표현의 자유, 알 권리
소셜미디어에서 혐오 표현이나 불법 콘텐츠를 필터링하는 AI 도구는 과도한 검열로 이어질 수 있다. 일례로 인스타그램은 자체 번역 소프트웨어가 ‘알라신께 찬양을’이라는 아랍어 문구를 영어로 ‘테러리스트’라고 번역하는 등 혐오 및 검열 논란으로 이어졌다. 한편 AI 봇을 활용한 대규모 스팸·여론조작 캠페인은 점점 쉬워지고 있으며, 이는 공론장 훼손과 민주주의 참여 위기로 이어진다.

생명권·안전권
인간의 개입 없이 목표물을 선정해 공격할 수 있는 인공지능 기반 드론이나 미사일은 심각한 윤리적 논란을 일으킨다. 자율 무기 시스템이 민간인을 표적으로 지정하여 불법적 살상으로 이어지는 일은 더 이상 가상의 시나리오가 아니라 현재 진행형인 문제다. 이는 생명권이라는 기본권을 침해할 뿐만 아니라, 생사 여부를 결정하는 주체는 기계가 아닌 인간이어야 한다는 원칙을 위협한다.

책임성·투명성
공론장, 복지 및 의료, 사법, 금융, 채용 등 다양한 분야의 의사결정에 활용되는 AI 시스템(특히 민간 기업의 기술을 도입하는 경우)은 책임성과 투명성 문제를 야기할 수 있다. 이는 해당 기술의 영향을 받는 개인이 의사결정 과정을 이해하거나 이의를 제기하는 데 어려움을 겪기 때문이며, 결과적으로 설명요구권 및 이의제기권과 같은 기본적 권리를 침해할 가능성이 있다.

인권과 AI의 구조적 관계를 고민하자

AI 기술은 개별적 인권 침해 위험을 야기할 뿐 아니라 인간의 존엄성 전반에 영향을 미친다. 감시 기술의 구조적 확산은 인간의 자율성과 자기결정권 같은 개념을 위협하며, 인간을 단순한 데이터로 환원하는 비인간화 경향을 심화시킬 수 있다.

한편 AI의 부정적 영향은 특정 개인의 피해 사례로 명확히 드러나지 않을 수도 있다. 편향된 시스템이 초래하는 비가시적 효과가 누적되면 사회 전체에 큰 피해를 초래할 수 있다. 또한 AI 시스템 도입의 직접적 영향 외에도, 기술 인프라 구축과 데이터 확보 과정에서 발생하는 환경 비용 및 저임금 노동 착취 등 전 지구적 차원의 문제도 인권 관점에서 중요하다.

따라서 ‘AI 활용 시 인권 침해를 조심하자’는 접근만으로는 부족하다. 활용 단계뿐만 아니라 기술의 설계, 구현, 관리 등 생애 주기 전반에 걸쳐 AI와 인권의 관계를 종합적으로 고민해야 한다.

AI가 인권 증진에 기여하려면

AI가 인권에 미치는 긍정적 영향은 없을까? 다양한 잠재력을 지닌 기술로서 AI가 공공의 이익에 기여할 수 있는 방안은 재난 대응, 의료 진단 개선, 맞춤형 교육, 식량 문제 해결 등 여러 분야에서 활발히 논의되고 있다. 다만, 이러한 방향으로 AI를 활용하려면 AI와 인권의 관계를 명확히 이해하고, AI에 집중되는 사회적 자원과 관심이 공익적 목적에 연결되도록 적극적으로 유도해야 한다. 이는 반대로 AI 기술이 인권을 침해하거나 안전장치가 미비한 경우 규제가 필요하다는 의미이기도 하다.

사회적 의사결정은 기술 중심이 아닌 인간 중심으로 설계되어야 하며, 이는 앞서 언급한 인식의 문제와 결부된다. AI를 ‘기술 발전’이 아닌 ‘인권’의 관점에서 바라봐야 한다는 것이다. 언뜻 어색하게 들릴 수 있다. 기술 발전이 아니라면 AI를 어떻게 정의해야 하는가? 그러나 ‘기술 발전’이라는 프레임은 AI의 본질과 인권과의 관계를 흐리며, 기술 발전과 인권을 서로 대립하는 것으로 호도할 위험을 지닌다. AI는 사회적 가치와 무관한 중립적 도구가 아니다(그런 기술은 존재하지 않는다!). 다양한 위험 사례에서 드러나듯 AI는 활용과 설계·구축 과정 전반에 사회적 가치가 반영되므로, 그 가치를 설정하는 일이 매우 중요하다.

AI 산업 육성의 중요성을 이유로 인권과 인간의 존엄성을 훼손하는 기술 개발을 허용하는 것은 궁극적으로 사회 발전에 도움이 되지 않는다. 인간을 중심에 둔 접근이 필요하다. 참여, 투명성, 책임성, 형평성을 보장하여 AI 혁신이 특정 산업뿐 아니라 모든 이에게 이롭게 작용하도록 해야 한다.

사회 미래를 설계하는 의사결정 과정에서
기술이 아닌 사람을 중심에 둬야 한다

AI 개발과 사회적 도입은 인권에 광범위하고 구조적인 영향을 미치므로, 그 위험을 통제하고 긍정적 효과를 극대화하려면 기술 생애 주기 전반에 걸쳐 인권 중심 접근을 도입해야 한다. 이를 위해 법규 정비와 인식 개선, 윤리 규범 수립이 모두 필요하다.

기술을 개발하고 적용하는 기업·정부와 기술을 이용하며 영향을 받는 시민은 AI 기술과 인권의 상호관계를 인식하고 적극 참여함으로써 기술이 인권 증진에 기여하도록 해야 한다. 아울러 인권 침해 가능성을 방지하기 위해 관련 법규를 정비하고, 국제인권협약 등 구속력 있는 규범을 준수해야 한다. 인권 영향 평가 도구 활용 역시 효과적인 방안이 될 수 있다.

근본적으로 사회 미래를 설계하는 의사결정 과정에서 기술이 아닌 사람을 중심에 둬야 한다. AI로 인한 혜택과 위험의 불평등한 분배를 주시하고 개입해야 하며, 기술 발전 경로가 단일하지 않음을 인정해야 한다. AI와 인권 문제는 단순히 기존 기술에 대응하는 차원을 넘어, 어떤 기술을 만들고 도입할지에 대한 논의 과정에도 사회 전체가 주체적으로 관여해야 한다.

글_ 고아침 ㅣ AI 윤리 레터 운영진