#들어가며
오랜만에 재미있는 책일 될 것 같다.
인터넷, 삐삐, 핸드폰, 스마트폰에 이어 우리는 AI 시대에 살고 있다.
세계의 변화를 몸소 체험하고 사는 우리.
현재 우리에게 AI 다음 변화는 무엇일까?
책이 이 질문에 답을 해줄 것 같다.
AI의 역량은 고정되지 않고 기술이 발전함에 따라 기하급수적으로 확장된다. 최근에는 몇 개월 간격으로 AI 모델의 복잡도가 두 배씩 증가하는 추세다. 그러다 보니 생성형 AI의 역량은 개발자들조차 다 알지 못한다. 새로운 AI 시스템이 등장할 때마다 그 시발점이나 종착점을 알 수 없는 역량이 탄생한다. 이제 우리의 미래에는 완전히 새로운 미스터리, 위험, 경이가 기다린다.
그리고 이중 chatGPT는 AI의 대명사인데 간략히 이 놈의 공학적 정의를 남겨본다.
엄밀히 따지면 chatGPT는 거대언어모델(LLM)이라고 봐야 한다.
인간과 유사한 텍스트를 생성하는 거대언어모델의 능력은 사실상 우연히 발견됐다. 거대언어모델은 문자메시지나 검색어의 자동 완성에서 활용하도록 문장의 다음에 나올 단어를 예측하는 훈련을 받는다. 하지만 뜻밖에도 매우 명료한 문단이나 글을 생성하며 아예 책도 쓸 수 있다는 사실이 드러났다.
마치 영화 “혹성탈출”의 “시저”가 태어나는 듯한, 인류의 시작이 우연이나 기형으로 생겨난 것과 같은 설명한다.
#현주소
읽으면서 느낀건 “어벤져스, 시빌워”가 생각난다. 어벤져스가 사회에 선한 영향도 미치지만 그만큼 악당들도 어벤져스 만큼 강해지는 현상이 있으므로 어벤져스는 독립적인 행동보다는 사회적인 조직에 의해 제약을 받아야 한다는 것이다.
이 책의 본문을 보면 AI가 마치 “어벤져스”와 유사한 질문을 던진다. AI는 무엇인가?
… 국가안보와 직결된 사안이라면 어떨까? AI가 제 계산에 따라 더 많은 사람을 구하기 위해 적지 않은 국민의 생명이나 이익을 희생시키라고 지도자에게 권고한다면 어떻게 해야 할까? 무엇을 근거로 그 권고를 거부할 수 있을까? AI의 권고를 거부하는 것이 과연 정당화될 수 있을까? 그리고 AI가 무엇을 어떻게 계산했는지 인간이 항상 다 알 수 있을까? 인간이 AI의 석연치 않은 선택을 제때 탐지하거나 철회할 수 있을까? AI의 결정이 어떤 논리에서 나왔는지 모를 때도 의심 없이 그 결정을 따라야 할까? 만일 AI의 결정을 따르지 않는다면, 우리 보다 우수한 능력을 보유한 기계를 방해하는 것은 아닐까? 혹시 AI가 내린 결정의 논리와 파급효과를 이해할 수 있다고 해도 라이벌 또한 AI에 의존한다면 어떻게 될까? 이렇게 다양한 고려 사항 사이에서 어떻게 균형을 잡고, 그 균형을 어떻게 정당화할 것인가?
다시 읽어봐도 어려운 질문이고 곧 다가올 현실인 것 같다.
인간과 기계, 사실 AI를 기계로 봐야할지 새로운 고유명사가 될 것도 같은데, 사이에서 고민하게 될 줄은 아무도 몰랐을 것이다.
(마이너리티 리포트, 매트릭스 같은 영화도 생각난다. 마이너리티 리포트에서는 미래범죄를 예견하는 것이, 매트릭스에서는 인간사회를 조정해서 인큐베이터에서 사람의 현실을 정하는 거대한 시스템이)
그래서 AI는 자의식이 없다.
AI는 예측하고, 결정하고, 결론을 도출할 수 있지만 자의식은 없다. 즉, 이 세상에서 자신이 수행하는 역할을 사유하는 능력은 없다. AI는 의도도, 동기도, 양심도, 감정도 없다. 그런 것이 없어도 주어진 목표를 달성할 의외의 방법을 제법 잘 찾아낸다. 하지만 이런 Al로 인해 인간은, 그리고 인간이 사는 환경은 바뀔 수밖에 없다. 어릴 때부터 AI를 경험하거나 AI로 교육이나 훈련을 받은 사람은 무의식 중에라도, AL를 의인화하며 자신과 같은 존재로 대하고 싶은 충동을 느낄 수 있다.
#그간의 궤적: 기술과 사유의 역사
이 책에서는 “사유”라는 단어를 자주 반복한다. 인간과 기계를 구분하는 가장 원초적인 차이를 “사유”로 규정한다.
이 장에서는 역사시대 이래로 과학과 철학의 흐름을 요약했는데 문체가 너무 어려웠다.
이해하기 힘들고 직관적이지 않아 기억에 남는 부분이 없다.
다만 결론은 검색창에 한글자를 치면 자동완성 시키듯이 AI가 인간의 사고 흐름을 방해(?), 규정(?)하고 있다는 것이다.
혼자 있을 시간을 허락하지 않는다. 홀로 생각할 시간이 줄어들면 용기가 위축된다. 용기는 소신을 기르고 지키기 위해 꼭 필요하며 특히 새로운 길, 그래서 대체로 외로운 길을 걸을 때 중요하다. 인간은 소신과 지혜를 갖출 때만 새로운 지평을 탐색할 수 있다.
디지털 세상에는 지혜가 생길 여유가 없다. 디지털 세상에서 중시되는 덕목은 자아성찰이 아니라 타인의 인정이다. 그래서 디지털 세상은 이성이 의식의 요체라는 계몽주의의 명제를 위협한다. 디지털 세상은 역사적으로 거리•시간•언어의 한계 때문에 인간의 행동에 가해진 제약을 파기하면서 '연결'을 의미 있는 미덕으로 내세운다.
#튜링의 시대에서 현재로, 그 너머로
본격적인 AI에 대한 이야기.
여전히 AI의 정확한 개념을 모르기 때문에 남들이 AI라고 하면 믿는 경향이 있다.
특히 이런 부분은 교수들이 잘 활용하는 것 같다. 머신러닝, 딥러닝 등을 명확히 사용하는 것일까?
AI는 비정밀하고, 역동적이고, 창발적이며, 학습이 가능하다. AI는 데이터를 소비하여 ‘'학습'하고, 데이터를 토대로 관찰하며 결론을 도출한다. 예전의 시스템에는 정밀한 입력과 출력이 요구됐지만 비정밀성이 특징인 AI는 그렇지 않다. 이런 AI는 문장을 번역할 때 단순히 단어를 일대일로 치환하지 않고 관용구와 패턴을 인식•활용한다. 같은 맥락에서 이런 AI를 역동적이라고 하는 이유는 변화하는 상황에 대응하여 진화하기 때문이고, 창발적이라고 하는 이유는 인간이 생각하지 못한 해법을 찾아내기 때문이다. 기계에 이러한 네 가지 특성이 존재하는 것은 가히 혁명적이다.
이 책도 간혹 어려운 단어를 자주 등장시킨다.
지난번에 김상욱 교수의 “하늘과 바람과 별과 인간”에서 어려운 단어의 나열이 많았고 특히 “창발”이란 단어를 들으면서 어리둥절했는데 이 책도 “반향실”이란 단어를 썼다.
각 사람이 보거나 듣고 싶은 것만 보고 듣게 되는 현상을 '반향실 효과'라 부른다.
그래서 위키를 찾아 원어의 한자와 뜻을 찾아봤다.
반향실 효과(反響室 效果, 영어: echo chamber)는 뉴스 미디어에서 전하는 정보가 해당 정보의 이용자가 갖고 있던 기존의 신념만으로 구성된 커뮤니케이션에 의해 증폭 및 강화되고, 같은 입장을 지닌 정보만 지속적으로 되풀이하여 수용하는 현상을 비유적으로 나타낸 말이다. "반향실"에 들어선 사람들은 자신이 지닌 기존의 관점을 강화하는 정보를 반복하여 습득할 수 있고 이로 인해 부지불식 간에 확증 편향을 지니게 될 수 있다.
그리고 AI는 역시 어벤져스였다. 하지만 어벤져스는 반추하긴 했다.
하지만 AI는 반추하지 못하고, 그러고 싶다는 윤리적 혹은 철학적 충동도 느끼지 않는다. 그저 제가 아는 기법을 이용해 결과를 산출할 뿐이고, 그 결과는 인간의 관점에서 봤을 때 시시하거나 충격적일 수 있고, 온건하거나 악의적일 수 있다. AI는 반추하지 못하므로 그 행동의 의의를 결정하는 것은 인간의 몫이다. 따라서 인간이 AI를 규제하고 관리해야 한다.
이 책에서 자주 등장하는 단어는 “할리신” 같다. 저자가 가장 만족스러워하는 AI 중 하나 같다.
#글로벌 네트워크 플랫폼
플랫폼이란 단어를 이제 알아가는데 ‘글로벌 네트워크 플랫폼’은 더 어렵다. 몇 가지 쉽게 예를 들었다.
구글, 페이스북 등등.
예전엔 인간이 사물이나 기계를 100 퍼센트 이해하고 제어했다면 이제는 그렇지 않고 그럴 수 있는 데이터 양이 아니다.
AI는 필연적인 존재 일 수도.
갑자기 ‘타노스’의 명대사가 생각난다.
“I am inevitable.”
AI 다음은 필연적 존재 타노스 일까?
어떤 사람도 AI가 취급하는 데이터를 완전히 이해하거나 열람할 수 없다면, 우리는 위안과 불안 중 무엇을 느껴야 하는가?
…
그런 AI는 어떤 목적함수를 따르는가? 누구의 설계를 따르고 어떠한 규제를 받는가?
이 질문의 대답이 앞으로도 계속해서 우리의 삶과 사회에 영향을 미칠 것이다. 같은 맥락에서 이런 질문도 가능하다. 그런 AI를 누가 운용하고, 한계는 누가 정하는가? 그런 AI가 사회규범과 제도에 어떤 영향을 미칠 것인가? 그런 AI가 무엇을 인지하는지 확인할 수 있는 사람이 존재한다면 누구인가? 만일 어떤 사람도 AI가 취급하는 데이터를 완전히 이해하거나 열람할 수 없다면, 혹은 AI의 작동 과정 전체를 뜯어볼 수 없다면, 다시 말해 인간의 역할이 여전히 AI를 설계하고, 모니터링하고, 일반적 매개변수를 설정하는 데 머문다면, 그런 한계점에서 우리는 위안과 불안 중 무엇을 느껴야 하는가? 혹은 둘 다 느껴야 하는가?
책에서 여러 가지 경고가 나오는데 그중 미니홈피가 성장하지 못 한 이유나 국내에서 틱톡이나 인스타 대체 어플이 나오지 않는 이유가 설명되어 있다.
국제적 네트워크 플랫폼을 대체하는 국내판 플랫폼을 운영하기에는 전 세계적으로 인재에 대한 수요가 너무 많고, 내수시장은 너무 좁고, 제품과 서비스의 원가는 너무 비싸다. 발전하는 기술의 첨단에 서려면 웬만한 기업이 가진 수준 이상의, 그리고 웬만한 정부가 선뜻 제공할 수 있는 것 이상의 지적 자본과 금융자본이 필요하다. 하지만 설령 그만한 자본을 갖췄다고 할지언정 내국인을 대상으로 내국인이 제작하는 소프트 웨어와 콘텐츠만 제공하는 네트워크 플랫폼을 굳이 선택할 이용자는 많지 않다. 양의 네트워크 효과의 수혜자는 대부분 각 분야에서 기술과 시장을 주도하는 소수의 플랫폼이 될 것이다.
미국, 중국이 분쟁을 일으킬 때 잘 이해하지 못했다.
냉전시대에는 간첩 같은 존재가 직접적인 기밀 유출과 같은 행동으로 분쟁이 있었다면, 미중 분쟁은 보이지 않는 것, 미래에 일어날 수도 있는 것에 대한 대응 사이에서 발생하는 분쟁이다.
사실 종교라는 특수한 맥락을 제외하면 세계인이 동일하게 현실을 이해하는 보편성에 이르는 경우가 거의 없었다. 하지만 지금은 무수히 많은 이용자를 연결하는 네트워크 플랫폼상에서 일상의 현실이 전 세계적 규모로 펼쳐진다. 다만 이제는 개인의 정신이 현실의 유일한 항해사가 아니고, 어쩌면 일등 항해사조차 아닐 수 있다. 대륙이나 전 세계를 무대로 하는 AI 기반 네트워크 플랫 폼이 동반자로서 인간의 정신을 거들고, 어떤 영역에서는 인간의 정신을 대체하는 방향으로 발전하고 있기 때문이다.
번역서의 맹점이라고 할까? 문체가 어렵다. 한번 읽으면 직관적으로 이해되지 않는다.
예를 들면,
지금까지는 이성으로 여과되는 지각과 경험이 현실에 관한 우리의 이해를 규정했다.
#안보와 세계질서
소제목에서 암시하는 것처럼, AI는 세계질서를 움직이는, 영향을 줄 수 있는 존재가 되었다.
내가 속한 사회나 조직에선 못 느낄지라도 나라와 경제를 이끄는 지도자들의 시각에선 거대한 이슈로 부각된 사안이다.
.
멋진 문구가 있어서 남겨본다.
이렇게 시대를 초월하는 패턴을 포착한 프로이센 군사학자 카를 폰 클라우제비츠는 고전이 된 1832년작 『전쟁론』에서 "폭력은 폭력에 대항하기 위해 기술과 과학의 발명품으로 무장한다"고 썼다.
이 또한 멋진 문구다.
무슨 얘기를 하려고 하는 걸까?
원자폭탄의 아버지 중 한 명인 물리학자 로버트 오펜하이머는 뉴멕시코주 사막에서 진행된 사상 최초의 핵무기 실험을 참관한 후 클라우제비츠의 전략적 금언이 아니라 힌두교 경전 『바가바드 기타』의 한 구절로 소회를 밝혔다. "이제 나는 죽음이요 세상의 파괴자가 되었도다." 이 말은 냉전시대의 중요한 모순을 예고했다. 그 모순이란 당대 최강의 무기를 결코 사용할 수 없다는 것이다. 핵무기는 극단적 파괴력 때문에, 생존이 백척간두에 몰린 상황이 아니라면 어떤 목적으로도 사용할 엄두를 내지 못했다.
소결은 AI 무기를 규제해야 한다는 것이다.
결국 핵무기, 자율살상무기 이야기까지 나오고 있기 때문이다.
하지만 이번 장은 공감이 좀 힘든 부분이 있다. 아직 일상을 살아가는 85억 중에 0.5억의 나라에 사는 나는 좀 이해가 가진 않는다.
만약 러-우 전쟁에서 자율살상무기가 이슈가 되었다면 좀 더 재밌게 읽었으리라.
#인간의 정체성
어려운 말이다. 정체성이란 몰까?
국어사전을 읽어보니 ‘본질’로 이해하면 직관적일 것 같다.
그리고 무서운 예견이 이번 장에서 시작됐다.
과거에는 인간이 역사의 주인공이었다.
어떻게 보면 이 문장에 이 책의 주제가 함축돼서 실린 것 같다.
과거는 이랬는데, 미래는 다를 것이라는 말이 포함된 것 같다.
AI가 현실을 예측하고 유사하게 시뮬레이션해서 우리 삶에 중요한 요소를 파악하고, 이후 일어날 일을 예상하고, 무엇을 해야 할지 결정하는 시대에는 인간의 이성에 부여된 역할이 바뀔 수밖에 없다. 그와 함께 우리가 개인적으로, 또 사회적으로 인식하는 목적도 달라질 것이다. 어떤 영역에서는 AI가 인간의 이성을 증강할 것이다. 또 어떤 영역에서는 인간이 핵심적 작업과 별로 상관이 없다는 느낌을 줄 것이다. 차량이 어떤 설명할 수 없는(그리고 굳이 설명해주지 않는) 계산을 근거로 차선이나 경로를 선택할 때, AI 기반 심사로 대출이 승인되거나 거절될 때, 역시 AI 기반 심사로 취업 면접 여부가 결정될 때, 본격적으로 연구를 개시하기도 전에 AI 모델이 가장 유력한 답을 제시할 때 인간은 그 효율성에 감탄하면서도 성취감을 상실할 수 있다. AI는 주체성, 중심성, 복잡한 지능의 독점자로서 인간의 지위를 당연시하는 이들의 자기 인식에 도전장을 던진다.
AI로 인해 우리가 세상과 상호작용하는 방식이 달라지고 그에 따라 자신에 관한, 그리고 세계에서의 역할에 관한 인식이 달라진다. AI는 예측하고(예: 환자의 질환이 초기 유방암일 가능성), 결정하고(예: 체스에서 다음에 둘 수), 정보를 강조하며 필터링하고(예: 영화나 투자 종목 추천), 인간과 유사한 텍스트(문장•문단•문서)를 만든다. 이런 능력이 계속 발전하면서 대부분의 사람이 창조적 혹은 전문적이라고 생각하는 경지에 빠르게 접근하고 있다.
우리 시대의 모순은 디지털화로 인간이 이용하는 정보가 계속 늘어나지만 진중한 사색에 필요한 공간은 점점 줄어든다 는 사실이다. 끊임없이 범람하는 콘텐츠 때문에 사유의 비용이 증가함에 따라 사유의 빈도는 감소한다. 자극을 원하는 인간의 욕구에 맞춰 알고리즘이 우리에게 추천하는 콘텐츠나 경험은 대체로 극적이고, 충격적이고, 감정적이다. 이런 환경에서 진지하게 생각할 공간을 찾기란 쉬운 일이 아니다. 그뿐만 아니라 현재 지배적인 커뮤니케이션 방식도 진득한 사유에 그리 도움이 안 된다.
AI는 인간의 지식에 이율배반적antinomic 영향을 미친다. AI 중개자는 인간 정신이 홀로 처리할 때보다 훨씬 많은 데이터를 처리한다. 하지만 방대한 데이터를 처리하는 능력 때문에 조작과 오류의 여지가 커진다. AI는 기존의 선전 매체보다 인간의 강렬한 감정을 더 잘 이용할 수 있다. 개개인의 취향과 본능에 맞춘 정보를 제공함으로써 개발자나 사용자가 원하는 반응을 끌어낸다. 그래서 AI 중개자가 투입되면 아무리 인간이 제어한다고 해도 개개인 안에 존재하는 편향성이 증폭될 수 있다.
SNS 플랫폼과 검색엔진은 치열한 경쟁에서 이기기 위해 사용자가 가장 관심을 보일 만한 정보를 제공한다. 사용자가 보고 싶어 한다고 판단되는 정보가 우선시 되면서 사용자의 현실 인식이 왜곡된다. 19~20세기에 기술 발달로 정보의 생산 및 유통 속도가 향상됐다면, 지금은 AI가 개입함으로써 유통되는 정보 자체가 달라진다.
자꾸 겁을 준다. 인류는 곧 매트릭스 안으로 들어가는 것인가?
즉 모든 차원에서 우리는 새 시대의 벼 랑에 서 있다. 이성•신앙•전통•기술이라는 유서 깊은 자원을 활용해 여전히 세계에 인간성이 유지되도록, 현실과 우리의 관계를 재정립해야 한다.
#미래
이성이란 무엇인가.
책을 읽다 보면 지금은 당연시 여기는 '이성'이란 존재도 그 정체를 발견한 게 얼마 되지 않은 느낌이다.
신앙의 시대에는 법원이 결투재판으로 유무죄를 가렸고 승패는 신의 섭리라고 여겨졌다. 이성의 시대에는 이성의 계율로 과실이 판단되어 유무죄가 선고되고 인과성과 고의성 같은 개념에 의거해 형벌이 언도됐다. 그러나 AI는 인간의 이성으로 작동하지 않고, 인간에게 있는 동기, 의도, 성찰 능력이 없다. 따라서 AI가 끼어들면 기존에 인간에게 적용되던 정의의 원리가 복잡해진다.
저자는 꾸준히 AI를 제어하고 관리하는 방안을 만드는 노력을 시작하라고 주문한다.
“기후변화”, “식량위기”와 같이 지구적인 주제이다.
인간의 지능이 인공지능과 연합해 국가적, 대륙적, 세계적 차원의 일을 도모하는 시대다. 이 변화를 이해하고 그 길잡이가 될 윤리체계를 마련하려면 과학자와 전략가, 정치인과 철학자, 성직자와 CEO 등 각계의 노력과 중지가 모여야 한다. 국가적 차원에서는 물론이고 세계적 차원에서도 그 같은 노력이 요구된다. 이제 우리가 인공지능과 어떻게 협력해서 현실을 탐구할지 규정할 때다.
#책을 읽고 나서
오랜만에 심각하고 진중하고 생각을 많이 하게 만드는 책을 읽었다.
현재 우리 옆에 가까이 와 있는 AI에 대해서 많은 생각을 하게 해주는 책이었다.
내용이 방대하고 어려운 부분도, 특히 2장은 저자가 조사해서 쓴 것일까 하는 의구심이 들 정도로, 있지만 전체적으로 한 번은 정독해 볼 만한 충분한 책이었다.
AI를 통한 인간성의 상실, 판단의 오류를 경계하고 최종 판단은 인간이어야 한다는 것을 강조한다.
여러 가지 책의 내용을 인용하고 되읊고 싶지만 그건 좀 어려운 것 같고.
결국 머리에 남은 이미지 중심으로 느낀 점을 마무리한다면...
"매트릭스"와 "타노스"가 생각난다.
현대사회의 방향성은 결국 매트릭스처럼 되는 게 맞을 것 같지만, 그 중간에 타노스가 등장해서 인류를 한 번은 정화(?) 하지 않을까? 그렇다면 타노스의 존재에 대응하는 어벤져스는 결국은 AI의 정수라고 해야 하나?
AI가 지배하는 AI와 인류의 공존을 방해하는, 그 공존은 결국 인류의 파멸로 귀착된다는 타노스의 논리를 대응하기 위한 AI의 히어로가 어벤져스라고 봐야 할 것 같다.
매트릭스와 타노스의 존재는 서로 이율배반적이라는 결론에 이른다.
타노스가 무너졌다면, 인류는 매트릭스 속에 갇혀질 것이다.
(저자들처럼 멋지게 느낀 점을 쓰고 싶지만 AI의 도움이 없이는 그렇게 못 할 것 같다)
덧1. 이젠 ‘창발’이란 단어가 어색하지 않다.
덧2. 매트릭스, 마이너리티 리포트