거부당한 시민은 누구에게 항변하나 — 알고리즘에 맡긴 행정의 빈자리

한 통의 통지서가 도착합니다. "당신은 부정수급자입니다. 받은 수당 전액을 환수합니다." 받아 든 사람은 영문을 모릅니다. 서류를 위조한 적도, 소득을 숨긴 적도 없습니다. 그런데 통지서 어디에도 이 판정을 내린 담당자의 이름이 없습니다. 사람이 아니라 자동화된 시스템이 매긴 결과이기 때문입니다.

지난 10년, 네덜란드에서 약 2만 6천 명의 부모가, 호주에서 약 47만 건의 채무통지가 이런 식으로 발부됐습니다. 두 나라는 복지·세무 행정의 판단을 자동화에 넘겼고, 둘 다 무너졌습니다. 그런데 무너진 방식은 서로 달랐습니다. 같았던 건 무너진 자리입니다. 거부당한 시민이 "왜 하필 나입니까"라고 물었을 때, 그 물음을 받아 줄 사람이 사슬 어디에도 남지 않았다는 것.

같은 자리에서 무너진 두 나라

네덜란드 세무당국(Belastingdienst)은 보육수당 부정수급을 걸러내려고 자기학습 위험분류모델을 돌렸습니다. 모델이 신청자마다 위험점수를 매기면 점수 높은 사람이 조사 대상으로 추려졌습니다. 정확히 말하면 모델은 판단의 입구, 곧 누구를 의심할지를 자동화했고, 최종 환수 결정은 그 뒤 망가진 인간 절차가 내렸습니다. 그 입구가 틀리자 약 2만 6천 명의 부모가 부정수급자로 몰려 받은 수당을 통째로 토해내야 했습니다. 정부가 나중에 공식 피해자로 인정한 가구만 3만 3천을 넘어섰습니다.

파장은 정점까지 올라갔습니다. 의회 조사위원회는 2020년 12월 이 사태를 "전대미문의 불의(Ongekend onrecht)", "법치국가의 근본원칙 위반"으로 규정했고, 뤼터 내각은 이듬해 1월 책임을 지고 총사퇴했습니다. 한 나라의 정부가 알고리즘이 잘못 매긴 점수 때문에 무너진 셈입니다.

호주의 'Robodebt'는 작동 방식부터 달랐습니다. 자기학습 모델도, 위험점수도 아니었습니다. 복지수급 기록과 국세청 연간소득을 기계적으로 대조해 '소득 평균화(income averaging)'로 채무를 자동 산정하는 단순 산술이었습니다. 연봉을 52주로 나눠 주 단위 소득을 추정하다 보니, 한 해 중 몇 달만 일한 사람도 내내 일한 것으로 계산돼 빚이 찍혔습니다. 2019년 연방법원은 이 방식에 "법적 근거가 없다"며 위법으로 못 박았고, 2023년 왕립조사위원회는 최종보고서에서 이를 "조잡하고 잔인한 장치, 공정하지도 합법적이지도 않은… 인적·경제적으로 값비싼 행정 실패"로 결론지었습니다.

자동화에 맡긴 두 행정의 붕괴

	네덜란드 (toeslagenaffaire)	호주 (Robodebt)
위임한 것	부정수급 위험점수(자기학습 모델)	복지 채무 자동 산정(소득 평균화 산술)
자동화한 단계	의심 대상 선별(입구)	채무 결정(거의 전적 자동)
운영 시기	2013~2018	2016~2020
피해 규모	부모 약 2.6만 명 오분류, 공식 피해자 3.3만+ 가구	채무통지 약 47만 건
법적 판정	AP, 차별·위법 인정·과징금 €275만	연방법원 위법(2019), 왕립조사위 "조잡하고 잔인"
정치적 청구서	내각 총사퇴(2021.1)	집단소송 합의 A$18.7억

출처: 네덜란드 의회조사위·개인정보감독기구(AP)·통계청 / 호주 연방법원·Robodebt 왕립조사위 (2019~2023)

방식이 이렇게 다른데 왜 결과가 같았을까요. 두 시스템은 서로 다른 길로 같은 두 가지를 부쉈습니다. 호주는 입증책임을 뒤집었고, 네덜란드는 차별을 자동화했습니다. 그리고 둘 다, 거부당한 시민이 항변할 자리를 비웠습니다.

입증책임이 뒤집힌 자리 — 호주

정상적인 행정에서 시민을 부정수급자로 몰려면 국가가 부정을 입증해야 합니다. 종전 호주에서도 부처가 고용주에게 직접 소득 자료를 받아 채무를 확인했습니다. Robodebt는 이 순서를 뒤집었습니다. 시스템이 일단 빚을 통지하면, 그게 틀렸다는 걸 증명할 책임이 수급자에게 넘어갔습니다. 몇 년 전 급여명세서와 은행 거래내역을 스스로 찾아내 "나는 그만큼 못 벌었다"를 입증하지 못하면 빚은 그대로 남았습니다. 무죄추정이 유죄추정으로 바뀐 셈입니다.

부정수급이 실재하지 않는다는 얘기가 아닙니다. 세금으로 운영되는 복지에 부정 적발은 필요하고, 자원은 유한합니다. 문제는 적발의 효율을 위해 입증의 부담까지 통째로 시민에게, 그것도 가장 증빙을 갖추기 어려운 사람에게 떠넘겼다는 데 있습니다. 불안정 노동자와 저소득층이 이 전도된 부담을 먼저 받아 들었습니다. 효율은 국가가 가져가고, 입증의 비용은 약자가 떠안는 구조입니다.

차별이 학습된 자리 — 네덜란드

네덜란드 모델은 (이중)국적과 외국식 이름을 위험을 높이는 변수로 썼습니다. 국제앰네스티는 2021년 보고서에서 "국적이 위험 평가의 한 요인이었고, 이것이 차별과 인종 프로파일링을 초래했다"고 못 박았습니다. 같은 구조가 로테르담시의 복지부정 예측 알고리즘에서도 드러났습니다. 2023년 탐사보도 컨소시엄이 모델 내부를 열어 보니, 점수를 좌우한 건 민족·성별·연령·네덜란드어 능력이었고, 네덜란드어가 서툰 젊은 한부모가 주로 조사에 소환됐습니다.

여기서 흔한 오해 하나를 정정해야 합니다. 이 차별은 누군가 "외국인을 더 의심하라"고 손으로 설계한 게 아닙니다. 로테르담 모델은 과거 부정조사 1만 2,707건의 기록을 학습했습니다. 과거에 사람이 외국인과 빈민을 더 자주 의심했다면, 그 편향이 데이터에 그대로 담겨 모델에 흡수됩니다. 알고리즘은 차별을 발명한 게 아니라, 과거 행정의 편향을 학습해 사양처럼 굳혔습니다. 그래서 더 위험합니다. 사람의 편견은 들쭉날쭉하지만, 모델의 편향은 빠르고 일관되며 매번 같은 사람을 겨냥합니다.

자동화가 사람보다 정확하리라는 통념도 흔들립니다. 미국 미시간주의 실업급여 부정적발 시스템(MiDAS)은 2년간 사실상 사람의 감독 없이 돌아갔는데, 감사가 검토한 판정의 오류율이 약 93%였습니다. 약 4만 명이 부당하게 부정수급자로 찍혔습니다. 그렇다고 자동화를 무조건 걷어내야 한다는 결론으로 직행하면 곤란합니다. 역설이게도 로테르담의 차별이 세상에 드러난 건 모델을 열어 감사할 수 있었기 때문입니다. 사람 심사관의 머릿속 편견은 들여다볼 수 없지만, 모델의 가중치는 검증할 수 있습니다. 불투명은 기술적 숙명이 아니라 조직의 비공개 선택인 경우가 많습니다. 감사가능성은 분명 자동화의 강점입니다. 다만 그것이 거부당한 개인에게 응답할 사람을 대신해 주지는 못합니다. 네덜란드 법원이 또 다른 부정탐지 시스템(SyRI)을 2020년 유럽인권협약 위반으로 사용 중단시킨 것도 그 연장선입니다.

응답자는 어디로 갔나

여기까지는 '시스템이 틀렸다'는 이야기입니다. 진짜 질문은 그다음입니다. 틀린 판정에 항변하려는 시민은 누구를 마주하게 될까요.

네덜란드와 로테르담처럼 외주 모델을 쓴 경우, 책임은 미끄러집니다. 담당 공무원에게 가면 "시스템이 그렇게 판정했다"고 합니다. 시스템을 만든 업체는 "발주처 사양대로 구축했을 뿐"이라고 합니다. 모델 자체는 점수만 출력할 뿐 이유를 말하지 않습니다. 공무원에서 벤더로, 벤더에서 모델로 책임이 흘러내리는 사이, "내가 당신을 그렇게 판정했다"고 응답할 사람이 사슬 어디에도 남지 않습니다.

호주는 길이 달랐습니다. 벤더도 모델도 없었으니, 책임이 미끄러질 외부 대상 자체가 없었습니다. 대신 응답자는 관료적 부인 뒤에 은폐됐습니다. 위법 소지를 내부 법률자문으로 알고도 강행한 고위 공무원과 장관이 있었던 겁니다. 차이는 결말에서 드러납니다. 왕립조사위는 1년 가까운 조사 끝에 권고 57건과 함께, 책임 있는 개인을 형사·민사로 회부하라는 의견을 봉인된 별도 섹션에 담아 제출했습니다. 은폐됐던 응답자가 조사의 힘으로 도로 호명된 것입니다.

이 대비가 핵심입니다. 위임한다고 응답자가 저절로 증발하는 게 아닙니다. 응답자는 '비워둘 수 있는 자리'입니다. 외주 사슬로 흩어 놓으면 비워지고, 강력한 조사가 들어가면 도로 채워집니다. 빈자리는 기술의 숙명이 아니라 설계와 의지의 문제입니다.

그렇다면 내각 총사퇴는 무엇이었을까요. 정치적 책임이 진 건 맞습니다. 그러나 그건 집단적이고 상징적인 응답입니다. 내각 총사퇴는 잘못 환수당한 한 부모에게 "당신 건은 우리가 틀렸다"고 직접 답한 사건이 아닙니다. 무대 위에서 정치적 책임이 처리되는 동안, 개별 시민의 항변에 일대일로 응답할 자리는 여전히 비어 있을 수 있습니다.

이 구조는 낯설지 않습니다. 살상의 마지막 판단을 기계에 넘겼을 때, 죽음은 일어났는데 "내가 그렇게 했다"고 말할 이름이 사라지는 누가 방아쇠를 당겼는가 — 자율무기와, 사라진 응답자의 책임 공백과 같은 모양입니다. 다만 행정에서는 그 빈자리가 전장이 아니라 통지서 한 장으로 도착하고, 조사가 작동하면 도로 채워질 수 있다는 점이 다릅니다.

청구서는 늦게, 그러나 더 크게 도착합니다

위임이 비운 건 응답자만이 아닙니다. 비용도 사라진 게 아니라 자리를 옮겼습니다. 처음엔 효율로 보였습니다. 사람이 일일이 심사하던 걸 자동화하면 인건비가 빠지는 듯했습니다. 그 절감분의 청구서는 시차를 두고 더 큰 액수로 돌아왔습니다.

호주 정부는 집단소송에서 총 18억 7천만 호주달러 규모의 합의에 이르렀습니다. 약 7억 호주달러를 환급하고, 1억 1,200만 호주달러를 보상하며, 남은 채무는 전액 말소했습니다. 보도에 따르면 항소심에서 추가 보상이 더해져 2026년에도 청구서는 여전히 도착하고 있습니다. 네덜란드에서는 개인정보감독기구가 세무당국에 차별적 데이터 처리를 이유로 275만 유로의 과징금을 물렸고, 그보다 비교할 수 없이 큰 비용이 내각 총사퇴와 행정에 대한 신뢰 자체로 청구됐습니다. 효율로 당겨 쓴 비용이 배상금과 정당성으로 되돌아온 셈입니다.

가장 무거운 청구서는 회계로 환산되지 않습니다. 호주에서는 채무통지를 받은 수급자 중 스스로 목숨을 끊은 사례가 보도됐고, 왕립조사위도 수령자들이 겪은 심각한 고통과 재정난, 사망에 관한 증언을 들었습니다. 다만 그 죽음과 시스템의 직접적 인과는 공식적으로 확정되지 않았습니다.

그래서, 한국 그리고 당신

이 이야기가 먼 나라의 사고로만 들린다면, 한 가지를 짚어야 합니다. 같은 종류의 자동 판정은 이미 신용평가, 보험 인수, 채용 선별, 세무조사 대상 추출로 우리 일상에 들어와 있습니다. 신용점수가 한 칸 깎여 대출이 거절될 때, 그 점수를 매긴 모델에게 우리는 무엇을 물을 수 있을까요.

한국도 이 질문에 제도로 답하기 시작했습니다. 2024년 3월부터 시행된 개인정보보호법 제37조의2는, 완전히 자동화된 시스템의 결정이 내 권리·의무에 중대한 영향을 미치면 그 결정을 거부하고 설명을 요구할 권리를 정보주체에게 줍니다. 신용 분야에는 더 일찍, 자동화평가 결과의 설명과 재산출을 요구할 수 있는 대응권이 들어와 있습니다. 유럽은 한발 더 나아가, 공공부조 수급자격과 신용평가에 쓰이는 AI를 '고위험'으로 묶었고 그 의무는 2026년 8월부터 적용됩니다. 법이 뒤늦게 세우려는 건 위임이 비워 버린 그 자리, 거부당한 시민에게 응답할 사람입니다.

그런데 여기서 멈추면 절반만 본 것입니다. 거부권의 원형 격인 유럽 GDPR 제22조는 2018년부터 인간의 개입을 요구할 권리를 보장했습니다. 그런데도 로테르담의 차별 모델은 2023년까지 돌아갔습니다. 법이 응답자의 자리를 만들어 둬도, 그 자리에 앉은 사람이 모델 출력에 형식적으로 도장만 찍는다면 빈자리는 그대로입니다. '인간의 개입'이 고무도장이면, 위임은 한 겹 더 깊은 곳에서 응답자를 다시 지웁니다.

그래서 행정을, 또 우리 일상의 심사를 자동화할 때 던져야 할 질문은 "얼마나 효율적인가"가 아닙니다. 거부당한 사람이 그 사유를 물을 자리가, 진짜 응답할 사람으로 채워져 있는가입니다. 그 자리를 비워 둔 채 효율만 취하면, 비용은 사라지지 않습니다. 가장 약한 곳에 먼저, 그리고 모두에게 늦게, 더 큰 액수로 청구될 뿐입니다.