AI가 틀렸다, 발생한 손실은 누가 보상해야 할까?

 

ZERO TO ONE #4

오늘날 많은 이들이 사이버 공간으로의 이주를 마쳤습니다. 이제 사람들은 대부분의 시간을 IT 장치 속에서 보냅니다. 음식을 주문할 때도 쇼핑할 때도 여가를 즐길 때도 항상 따라다닙니다. 최소한 음악이라도 하나 틀어야 하니까요. IT는 과거 작은 변화로 시작하였지만 마치 피보나치처럼 불어나면 점점 더 큰 영향을 미치고 있습니다. 모든 곳에 AI가 깃드는 것은 물론, 기억이나 의식을 드라이브에 저장하고 불러오는 시대가 도래할 것입니다. 나아가 세계

저자

장용하 021스쿼드

출판

부크크(Bookk)

출판일

2024.11.15

책임이 사라진 자리, 기대와 두려움이 함께 커졌다

AI가 한 줄씩 코드를 추가할 때마다 사람의 결정권은 조금씩 뒤로 물러났다. 누군가는 “AI가 그렇게 판단했다”는 말을 명패처럼 내세운다. 그러나 그 명패 뒤에는 가려진 사람이 존재한다. 데이터 설계자, 모델 아키텍트, 서비스 운영자, 그리고 끝내 그 판단을 허가한 이용자까지. AI가 자율성을 얻을수록 인간의 흔적은 희미해지지만 책임의 총량은 결코 줄어들지 않는다. 오히려 커진다.

 

EU가 2024년 AI법(AI Act)을 발효시킨 이유도 여기에 있다. 고위험 AI에는 기록‧설명‧감독 의무를, 금지군 AI에는 2025년부터 즉시 사용 금지를 선언했다. 2026년이 되면 전체 의무가 완전히 적용된다. 이제 블랙박스는 방패가 아니라 가중처벌을 위한 증거가 된다.

 

규제는 감시망을 만들었지만 현장은 이미 구멍을 시험 중이다. 테슬라 오토파일럿는 플로리다 항소심에서 “산업 표준을 위반하지 않았다”는 이유로 징벌적 손해배상 책임을 벗었다. 기록이 충분하면 설계자는 때때로 법정 밖으로 빠져나온다. 그러나 유가족은 여전히 조정 테이블에 남아 있다.

 

AI가 엇나간 순간은 통계가 아니라 삶의 균열이다. 2024년 뉴욕 남부 연방지방법원은 RAG 기반 생성형 검색 스타트업 퍼플렉시티가 월스트리트저널 기사를 무단으로 학습하고 재조합을 했다며 저작권 침해 소송을 접수했다. 책임의 첫 화살은 서비스를 만든 회사와 투자자에게 겨눠졌다. AI는 법적 인격이 아니므로 화살은 결국 인간에게 꽂힌다.

---

판례와 규제가 보여주는 실전 분산 책임

AI의 실수는 보통 세 갈래 중 하나로 흘러간다. 첫째, 설계 결함. 데이터 편향, 알고리즘 오류, 설명 부재가 여기에 속한다. 둘째, 운영 과실. 파라미터를 잘못 조정하거나, 업데이트를 지연시키는 행위다. 셋째, 사용자 오용. AI 사용자가 경고를 무시하고 결과를 맹신할 때 생긴다.

 

EU AI Act는 이 경계선을 위협 수준별로 세분화했다. 금지 AI(사회 점수, 무차별 감시)는 존재만으로 불법이다. 고위험 AI(채용, 신용평가, 의료)에는 사전허가·설명 의무가, 범용 AI에는 모델 투명성‧저작권 보호 의무가 붙는다.

 

그러나 규제와 현장의 톤은 어긋난다. 유럽연합 디지털 수장은 지나친 보고 의무가 경쟁력을 좀먹는다며 AI 책임법 초안을 철회했고 보고 서식량을 줄이는 방향으로 선회했다. AI 투자 유치가 시급했기 때문이다. 규제 완화의 명분은 혁신, 반대편 테이블의 키워드는 안전이었다.

 

미국 법원은 다른 노선이다. 2024년에 한 변호사가 AI가 생성한 가짜 판례를 그대로 제출했다가 징계를 받았다. 법원은 AI를 탓하지 않았다. “최종 검증을 하지 않은 인간 책임”이라고 명시했다. 같은 해 11월, 테슬라 팬텀 브레이킹 집단소송에서 판사는 주행보조 기능이 완전자율주행으로 과장됐을 가능성을 근거로 증거 개시를 명령했다. AI를 만든 기업의 홍보 문구는 배심원의 판단에 중요한 자료가 된다.

 

오픈소스 AI는 더 복잡하다. MIT·Apache·GPL 라이선스는 활용하는 것에 개방적이지만 대부분 무보증을 선언한다. 파생 서비스를 만든 주체가 1차 책임을 진다. 코드 한 줄을 고치지 않고 그대로 활용해도 면책은 없다. 그렇게 분산된 책임은 결국 다시 한 점으로 모인다.

---

책임 이후의 풍경, 보상과 신뢰의 재설계

‘누구의 잘못인가’를 가리는 일은 필연적이지만, 그 자체만으로는 발생한 피해를 돌려놓지 못한다. 사고는 이미 일어났고, 피해자는 그 대가를 고스란히 떠안는다. 이제 출발점인 책임 소재 논의를 넘어서, 피해자가 신속하고 확실하게 구제받을 수 있는 보상 메커니즘을 설계하는 것이 관건이다.

 

먼저 AI 책임보험 제도를 고려할 수 있다. 자율주행차 등 고위험 AI 시스템을 개발·운영하는 기업은 사고 발생 시 피해자를 우선 보상할 수 있는 보험에 의무 가입해야 한다. 유럽연합은 2025년 후반기부터 최소 보험 가입 한도를 법적으로 명시할 계획이다. 이는 예측 불가능한 피해를 개인이나 기업이 온전히 감당하지 않도록 사회적으로 분산하는 안전망 역할을 한다.

 

다음으로 검토해야 할 보상 체계는 피해자 구제펀드다. 사고 원인이 명확하지 않거나 책임 주체가 확정되기까지 오랜 시간이 걸리는 상황에서는 공공기금이 우선 보상을 집행한 뒤 책임자에게 구상권을 행사한다. 의료사고 배상공제조합과 유사하게 운영되면 법적 분쟁이 길어져도 피해자가 방치되지 않도록 보장하는 장치가 된다.

 

영국을 중심으로 논의되는 디지털 책임청구소는 사후 감사와 책임 추적으 돕는다. 알고리즘 변경 내역, 학습 데이터 출처, 운영 로그 등을 평소에 공공기관이 보관·관리하면 기업이 임의로 시스템을 수정하거나 투명성을 회피할 경우에도 디지털 기록이 책임 소재를 확인할 수 있게된다.

 

이 세가지 예시는 모두 AI의 예측 불가능성과 책임 회피의 취약점을 전제로, 피해자 중심의 보상과 신뢰 회복을 목표로 고안된 보완책이다. 기술 혁신만으로는 메울 수 없는 공백을 법과 제도 차원에서 채우며, AI 사회로의 전환이 요구하는 보상과 신뢰라는 사회 구조 혁신의 필수 요소다. 설명가능성 없는 시스템은 법정에서 결코 면책되지 않는다.