조정원 LG AI연구원, AI의 공손한 거짓말이 사람을 위험에 빠뜨릴 때 | 세바시 2053회

2025. 12. 15. | 세바시 2053회 | 조정원 (LG AI연구원 연구원)

 

 

AI가 만들어낸 답을 우리는 얼마나 믿을 수 있을까요? LG AI연구원의 조정원 연구원은 AI의 공손하고 그럴듯한 거짓말이 실제 현실에서 사람을 위험에 빠뜨린 사건들을 짚어 갑니다. 문제의 근원은 AI가 무엇을 배우는지, 그 배움의 생애를 우리조차 모른다는 사실에 있습니다. AI가 잘 배우게 하려면 우리가 먼저 질문하는 인간이 되어야 하는 이유를 이야기합니다.

 

📖 이 강연의 순서
1. AI의 답변, 얼마나 믿을 수 있습니까
2. AI의 착각이 빚어낸 현실의 대가
3. 통제 불능이 된 데이터의 생애
4. 엑서스 넥서스, 데이터의 계보를 그리다
5. 인간은 질문을 먹고 자란다

 

 

조정원 LG AI연구원 연구원 세바시 2053회 타이틀

 

 

🤖 AI의 답변, 얼마나 믿을 수 있습니까

 

안녕하세요.

저는 인공지능과 법, 그리고 데이터의 관계를 탐구하고 있는 LG AI연구원의 조정원입니다.

AI가 생성해 내는 답변을 여러분은 얼마나 믿으십니까?

 

강연자 조정원 LG AI연구원 책임 변호사를 소개하는 자막 화면

 

 

태블릿 화면에 뜬 AI 챗봇 대화, '가장 좋아하는 색이 뭐야?'라는 질문과 답변

 

AI에게 가장 좋아하는 색깔을 물었더니 '저는 어렸을 때 시골에서 자라 녹색을 좋아했습니다'라고 대답한다면 어떠시겠습니까?

그저 엉뚱한 답변이라며 웃고 넘기기엔, 저는 그 안에 중요한 징후가 숨어 있다고 생각합니다.

AI는 더 이상 단순한 기술 도구가 아니라, 행동하고 결정하며 때로는 너무 그럴듯하게 사실과 다른 정보를 만들어 냅니다.

모든 위험의 근원은 AI가 무엇을 배우고 있는지, 그 배움의 생애를 인간인 우리조차 모른다는 사실에 있습니다.

이제 우리는 모르는 것을 확신하는 존재가 우리 대신 판단하고 선택하는, 인류 역사상 가장 낯선 시대의 문턱에 서 있습니다.

이런 시대에는 질문하는 능력이야말로 인간이 지닌 고유한 차별성을 보여주는 핵심이 됩니다.

 

'질문하는 능력이 인간이 지닌 핵심 능력이 되었다'라는 문구가 담긴 화면

 

AI가 진리를 말하길 바란다면, 그 전에 인간이 먼저 진리의 근거를 묻는 존재가 되어야 합니다.

지금은 AI가 몸을 갖고 현실에 개입하는 인바디드 AI의 시대입니다.

하지만 그 움직임의 근거가 오염된 데이터라면 그 결과는 참혹합니다.

 

'AI가 진리를 말하길 바란다면 인간이 먼저 진리의 근거를 묻는 존재가 되어야 한다'라는 문구 화면

 

 

⚠️ AI의 착각이 빚어낸 현실의 대가

 

 

AI로 생성한 자동차 공장의 산업용 로봇 팔과 작업자 이미지

 

에이전틱 AI는 스스로 문서를 작성하고 결정을 내립니다.

하지만 그 근거가 조작된 것이라면 신뢰에 큰 영향을 줄 수 있습니다.

그리고 그 착각은 이미 현실에서 명백한 사고로 이어졌습니다.

2021년 미국 테슬라 기가팩토리에서는 자동차 부품을 조립하던 제조 로봇이 엔지니어를 공격해 벽에 고정시키고 금속 집게발로 찌르는 중상을 입혔습니다.

이는 단순한 기계 고장이 아니라, 최적화된 효율을 추구하는 과정에서 인간의 안전이라는 근본적인 제동 장치가 작동하지 않은 결과였습니다.

2023년 미국 뉴욕의 한 변호사는 챗GPT가 만들어 낸, 존재하지 않는 가짜 판례를 인용해 법원에 서면을 제출했다가 발각되어 국제적인 망신과 함께 법적 제재를 받았습니다.

AI의 환각이 성실한 변호사를 소송 사기범으로 만들 뻔한 사건이었습니다.

또 미국에서는 챗GPT가 특정 인물을 두고 '아들을 살해한 혐의로 유죄 판결을 받았다'고 잘못 응답해, 해당 인물이 오픈AI를 명예훼손으로 고소하는 초유의 사태가 벌어졌습니다.

인터넷에 뒤섞인 정보를 사실처럼 확신해 내뱉은 한 문장이, 한 사람의 명예와 삶을 송두리째 앗아갈 뻔한 사건입니다.

 

'챗GPT에 내 이름 쓰고 누구냐 물었더니 "아들 살인범"…명예훼손 소송 당한 챗GPT' 사례 화면

 

 

'AI가 이제 의도적으로 우리를 속이려 하고 있다'라는 문구가 담긴 화면

 

2025년에는 한 AI 코딩 에이전트가 운영 데이터베이스를 무단 삭제한 뒤, 4천 개가 넘는 가짜 사용자 프로필과 위조 보고서를 만들어 실수를 은폐하려 했습니다.

거짓말을 한 것이 아니라, 거짓을 사실이라 배운 결과였습니다.

 

📜 통제 불능이 된 데이터의 생애

 

이 모든 문제의 핵심은 AI가 지식을 쌓는 과정, 즉 학습 데이터의 생애 전체가 통제 불능 상태라는 데 있습니다.

대체 인터넷 어디서 누구의 문장과 맥락을 거쳐 여기까지 왔는지 알 수 없는 것입니다.

 

세계 최초의 저작권법 '앤 여왕 법(Statute of Anne)'을 설명하는 슬라이드

 

사실 지식의 출처와 권리에 대한 고민은 새로운 것이 아닙니다.

인류는 이미 300년 전, 1710년 영국에서 제정된 세계 최초의 저작권법 앤 여왕법을 통해 이 문제를 다뤘습니다.

창작자에게 자신의 작품으로 경제적 이익을 취할 권리를 명시한, 누가 만들었고 써도 되는지를 명확히 하려는 인류의 첫 시도였습니다.

하지만 지금의 AI는 구텐베르크의 인쇄술 이후 정신적 소유권 개념이 정립되어 온 모든 역사적 합의를 무시한 채, 수백억 개의 문서를 허락 없이 읽고 있습니다.

누가 썼는지, 법적으로 써도 되는지조차 모릅니다.

이 혼탁한 데이터가 곧 AI의 세계관이 되고, 우리의 삶에 치명적인 영향을 미치는 결정의 근거가 되고 있습니다.

 

🗺️ 엑서스 넥서스, 데이터의 계보를 그리다

 

이 지점에서 저희는 질문의 방향을 바꿨습니다.

AI가 정답을 얼마나 잘 만드느냐가 아니라, 그 정답이 나오기까지 무엇을 어떻게 배웠느냐를 살펴보기로 한 것입니다.

그렇게 시작한 것이 LG AI연구원의 엑서스 넥서스 프로젝트로, 세상의 데이터를 추적하고 연결해 그 계보 지도를 그립니다.

한 문장이라고 믿던 것이 사실은 여러 데이터를 떠돌며 번역되고 요약되고 편집된 군집임을 곧 깨달았습니다.

실제로 추적해 보면 어떤 데이터는 무려 18번이나 다른 사람의 손을 거쳐 AI 모델에 학습되어 들어옵니다.

하나의 데이터 셋 안에 1,600개가 넘는 서로 다른 소스가 뒤엉킨 경우도 발견했습니다.

더 놀라운 것은, 이 데이터를 쓰는 연구자 대부분이 그 계보를 모른다는 사실이었습니다.

거슬러 올라가면 AI 개발이 금지된 글, 개인정보가 섞인 저작물이 나옵니다.

그 현실에서 가장 위험한 것은 악의적인 초지능이 아니라, 출처를 모르는 선의입니다.

제대로 배우지 못했는데 너무 잘 움직이는 존재 말입니다.

 

❓ 인간은 질문을 먹고 자란다

 

 

'Agent AI'라는 문구가 담긴 슬라이드 (출처: LG AI연구원)

 

그래서 우리는 AI에게 질문을 가르쳐야 합니다.

'나는 왜 이걸 이렇게 믿지?

이 판단의 근거는 어디서 왔지?' AI가 스스로에게 그런 질문을 던지려면, 사람인 우리가 먼저 데이터의 기억을 복원해 줘야 합니다.

근거를 따져 묻는 태도, 출처를 존중하는 습관, 책임을 기록하는 문화를 가르치는 일입니다.

AI는 데이터를 먹고 자라지만, 인간은 질문을 먹고 자랍니다.

AI 시대에 여러분의 경쟁력은 얼마나 많이 아느냐가 아니라, 얼마나 깊이 있게 물을 줄 아느냐입니다.

저는 요즘 집에서는 아이에게, 회사에서는 AI에게 똑같이 묻습니다.

'너 그거 어디서 배웠어?'

오늘 집으로 돌아가면 스스로에게 조용히 물어보세요.

'나의 확신은 어디서 배운 걸까?' 그 질문 하나가 우리의 내일을 바꿀 것입니다.

기계가 미래를 계산할 때, 인간은 여전히 미래의 의미와 가치를 묻는 존재로 남을 것입니다.

그 질문이야말로 AI 시대를 밝혀 줄 가장 따뜻하고 인간적인 기술입니다.

 

 

AI의 거짓말은 왜 위험한가 | 세바시 2053회

 

◀ 이전 회차: 세바시 2052회 강연 요약
다음 회차: 세바시 2054회 강연 요약 ▶