최근 우리 사회 각 분야에 인공지능(AI)에 대한 기대가 가득하다. 콜센터에는 이미 ‘AI 상담원’이 자리를 잡고 있으며, 사람 그 이상으로 작동할 수 있는 ‘피지컬 AI’가 곧 산업 현장에 광범위하게 투입될 것으로 예상된다. 얼마 전 정부가 발표한 「인공지능 행동계획」에 따르면 심지어 사람과의 소통이 핵심적이라고 여겨졌던 교육이나 돌봄 영역에도 인공지능 서비스나 돌봄 로봇이 본격적으로 도입된다고 한다. 하지만 우리가 인공지능이 사람에게 가져다 줄 혜택에 대해 기대할수록, 인공지능이 사람에게 미치는 영향에 더욱 초점을 맞추어 살펴야 할 것이다.

2025년 1월 전 세계 과학자 1백여 명이 증거 기반으로 합의한 내용을 토대로 <첨단 AI의 안전성에 대한 국제 과학보고서>를 공동 발간한 적이 있다. 여기서는 첨단 AI의 위험성을 악의적 사용으로 인한 위험, 오작동으로 인한 위험, 사회체제적 위험으로 분류하였다. 익히 알려진 허위조작정보는 악의적 사용으로 인한 위험에 속한다. 환각 효과(할루시네이션)는 오작동으로 인한 위험으로 분류될 수 있다. 인권적으로 보다 주목할 부분은 사회체제적 위험이다. 첨단 AI는 노동 시장, 지구적 격차, 지구적 집중, 환경, 프라이버시, 저작권에 사회적인 위험을 미친다.

우리는 이미 위험 사례들을 현실로 만나고 있다. 2023년 A은행에서는 AI 상담 서비스를 도입하였다며 상담원 240여 명을 한꺼번에 해고하였다. 당시 해고 통지서를 받은 상담원들의 노동조합이 이에 맞서면서 일부 복직이 이루어지기는 하였으나 콜센터 상담원들의 고용 위협이 크게 증가한 것이 사실이다. 그런데 다른 한편에서는 콜센터 AI 전환으로 인하여 고객들, 특히 연령이나 장애 등으로 취약한 고객들의 불편함이 오히려 가중되었다는 항의가 빗발친다. 상담서비스를 이용하는 사람 입장에서 AI 고객 응대가 불편하고 접근성이 떨어졌다는 것이다. 그러다 보니 남아있는 ‘사람’ 상담사들에게는 AI 응대에 화가 난 고객들과 기계가 처리하지 못하는 복잡한 상담 사례들이 할당되면서 일이 더욱 고되졌다. 일하는 사람의 권리에도, 고객의 권리에도 부정적인 영향을 미친다면, 이 산업의 AI 전환은 무엇을 위해 이루어지는 것일까?

산업의 비용 절감만을 목적으로 이루어지는 AI 전환은 아마도 ‘사람’을 위한 전환은 아닐 것이다. 많은 청년들이 지원하는 공공기관과 민간기업의 AI 채용 절차를 보자. 최근 AI 채용 도구는 때로 자동적으로 채용 당락을 결정하는 데에도 이르렀다. 2024년 국회 자료에 따르면 2년간 17개 시·도의 AI 채용절차에서 구직자 351명이 탈락했다. 하지만 그 대상이 된 사람은 탈락 이유에 대한 설명을 충분히 듣지 못하고 있다. AI로 의사결정이 자동화되고 있는데 그 영향을 받는 사람에 대한 존중이 빠져 있는 것이다.

인공지능이 이처럼 사람에게 중요한 영향을 미치는데 그 영향을 받는 평범한 사람들이 여기에 대해 의견을 내거나 거부할 수 없는 현실이 상황을 더욱 악화시킨다. 이것은 인공지능 시대의 민주주의 문제이다. 인공지능 개발과 서비스에는 에너지와 데이터를 비롯한 많은 자원과 비용이 소요되기 때문에 과거보다 더 큰 규모의 기업, 때로는 지구적인 규모의 기업들에게 권력이 집중되고 있다. 이러한 경향은 그 자원과 데이터에 대한 권리주체들의 권리 행사와 침해에 대한 구제를 무력하게 만들 우려가 크다. 세계적으로 생성형 AI가 널리 사용되고 있으나, 그 유창함은 다수 사람들의 개인정보와 저작물을 무차별적으로 학습한 결과라는 지적을 받고 있다. 생성형 서비스를 제공하는 과정 중에 입력받는 개인정보들도 보관되거나 이용될 우려가 높다. 하지만 공공기관을 비롯한 사회 각계의 의존도가 높아지는 이 빅테크 서비스의 정확한 데이터 처리와 자원 소비 현황은 공개되어 있지 않다. 우리가 어떤 피해를 보아도 이들 기업이 적절하게 책임을 질 것인지, 우리가 구제받을 수 있을지 역시 확실하지 않다. 유엔 의사표현의 자유 특별보고관은 인공지능 시스템의 목적과 산출물을 정의하는 과정에서 인간이 점점 배제되고 있으며, 그에 따라 인공지능 시스템의 투명성, 책임성, 그리고 효과적인 구제에 대한 접근을 보장하는 것이 더욱 어려워지고 있다고 우려하였다(유엔문서 A/73/348, 2018 참조).

AI로 의사결정이 자동화되고 있는데
그 영향을 받는 사람에 대한 존중이 빠져 있는 것이다

인권적으로는 특히 인공지능이 사회구조적으로 취약한 계층에 미칠 영향을 짚고 넘어가지 않을 수 없다. 2025년 유엔 인권최고대표 사무소는 인공지능 기술이 여성과 아동을 비롯해 국가적·민족적·종교적·언어적·인종적으로 소수자, 원주민, 지역사회, 농촌 지역 주민, 경제적 취약계층, 취약하거나 소외된 상황에 처한 개인 등 불리한 처지에 있는 집단에 불리한 영향을 미칠 수 있다고 우려하였다(유엔문서 A/HRC/59/32 참조). 특히 여성과 여성 아동들이 더 높은 위험에 직면해 있는데 이는 기존 사회의 성불평등한 패턴이 인공지능 시스템에서도 지속되면서 고정관념이 강화되고 차별로 연결될 수 있기 때문이다. 여성과 여성 아동들은 스토킹, 성희롱, 성착취 등 AI로 인해 초래된 성별 기반 폭력에 갈수록 더 많이 노출되고 있다. AI가 생성한 딥페이크는 대부분 여성을 표적으로 삼으며, 괴롭힘, 협박 및 명예 훼손에 악용될 수 있고, 그 제작과 배포의 용이성은 학대 규모를 과거보다 확대하였다.

인공지능의 위험에 대하여 우리가 어떤 해결책을 가질 수 있을까? 기술 권력 측면에서 평범한 사람들은 인공지능 기업을 압도할 만큼 충분한 전문성도, 자원도, 심지어 목소리도 가지고 있지 않다. 인공지능으로 인한 일자리 상실이나 디지털 성폭력 피해에 대해 간헐적으로 알려지고 있지만, 인공지능이 가져올 산업적 미래에 대한 찬사에 비하여 이런 문제는 부수적인 것으로 취급되는 것이 사실이다.

평범한 사람들은 인공지능 기업을 압도할 만큼
충분한 전문성도, 자원도, 심지어 목소리도
가지고 있지 않다

그래서 앞으로 우리는 인공지능의 문제에 대해서 인권 규범에 기반해 접근하고 해결책을 모색할 것을 적극적으로 요구할 필요가 있다. 유엔을 비롯한 국제인권규범은, 인공지능을 개발하고 배치하는 사업자들이 기업과 인권 규범을 준수해야 한다고 말해 왔다. 특히 인공지능에 대한 인권기반접근에서는 “가장 큰 영향을 받거나 부정적인 결과를 겪을 가능성이 높은” 사람에게 인공지능이 미칠 영향에 특별한 주의를 기울일 것을 요구한다(유엔문서 A/HRC/43/29 참조).

유엔은 2011년 <기업과 인권 이행지침(UNGP)>을 통해 국가가 인권을 보호할 의무를 지니고 있고, 기업은 인권을 존중할 책임을 가지고 있으며, 인권 침해를 당한 사람에게는 효과적인 구제에 접근할 수 있는 체계가 제공되어야 한다는 원칙을 밝힌 바 있다. 특히 기업은 자신의 사업이 인권에 미치는 부정적인 영향을 식별하고 사전적으로 방지하거나 완화하기 위하여 인권영향평가를 비롯한 인권실사를 실시해야 할 주의 의무가 있다. 유럽을 비롯한 일부 국가들은 이를 자율적 규범을 넘어 제도화된 의무로 발전시키고 있다. 유엔 인권최고대표 사무소는 이와 같은 기업과 인권 규범을 인공지능을 비롯한 첨단 기술을 개발하고 배치하는 기업들이 따라야 한다고 요구한다. 유럽연합 인공지능법 또한 기본권영향평가, 영향받는 자의 구제에 대한 조항에서 기업과 인권 규범을 반영한 것으로 평가받고 있다.

수학자인 캐시 오닐은 “수학적 모형은 본질적으로 과거에 기반을 두며, 패턴이 반복될 것이라는 전제에 근거한다.”고 말한 적이 있다. 인공지능이라는 수학적 모형은 과거 우리 세상의 불평등한 패턴을 학습하고 이를 증폭시킨다. 팀닛 게브루라는 학자가 말했듯이 “인공지능 시스템에 세상의 아름다움, 추함, 잔인함을 먹이면서 그것이 아름다움만을 반영하기를 기대하는 것은 환상이다.” 세상을 악화시키는 것이 아니라 나아지게 하려면, 우리가 이러한 현실을 직시하고 이를 해결해야 한다는 태도를 취하는 것에서부터 문제의 해결이 시작될 수 있을 것이다.

글_ 장여경 ㅣ 정보인권연구소 상임이사