서버실의 불이 꺼지는 순간

nonasking · 2026-07 · English version

AI에 관한 흔한 경고는 이렇게 시작한다. 서버실의 불이 꺼지는 순간, AI로 도약한 걸음은 모두 제자리로 돌아간다. 전기가 끊기고, API가 죽고, 구독이 만료되면 우리는 AI 이전의 자신으로 돌아가야 하는데, 그 자신이 이미 퇴화해 있다면 어떻게 할 것인가.

이 경고는 절반만 맞다. 위임의 대가가 청구되는 것 자체는 사실이다. MIT 미디어랩 연구진은 LLM으로 에세이를 쓴 그룹이 도구 없이 쓴 그룹보다 뇌의 연결성이 눈에 띄게 약했고, 방금 자신이 쓴 글에서 인용조차 제대로 못 했다는 걸 EEG로 보여줬다. 이 현상에 붙은 이름이 ‘인지 부채(cognitive debt)’다. 부채라는 이름답게, AI 사용을 멈춘 뒤에도 남았다(표본 54명에 잔존 효과를 본 마지막 세션은 18명뿐인 프리프린트라는 한계는 있다). 666명을 조사한 다른 연구는 AI 사용 빈도와 비판적 사고력 사이의 음의 상관을 보고했고, 매개 변수는 인지 오프로딩, 그러니까 생각을 외부 장치에 떠넘기는 습관이었다. 계보는 더 길다. 2011년의 ‘구글 효과’ 연구는 나중에 찾을 수 있다고 기대하는 순간 인간이 내용 대신 위치만 기억하게 된다는 걸 보였고, 내비게이션 연구들은 스스로 길을 찾을 때 활발하던 해마가 기계의 지시를 따르는 동안에는 조용해지고, 그 습관이 몇 년 뒤의 공간기억 저하로 쌓인다는 걸 보였다(종단 표본이 13명으로 작긴 하다). 위임은 공짜가 아니다.

그런데 이 경고에서 멈추면 백 번째 같은 글이 된다. 새 기술이 정신을 망친다는 걱정은 문자의 발명만큼 오래됐다. 소크라테스는 문자가 기억을 파괴할 거라고 경고했고, 이 일화는 보통 “그런 걱정은 늘 기우였다”의 증거로 인용된다. 근데 뒤집어 보면 그 걱정은 틀리지 않았다. 문자는 실제로 암송 문화를 지웠다. 다만 인류가 그 손실을 감수할 만하다고 선택했을 뿐이다. 계산기가 필산을 가져간 것도 같은 구조다. 아무도 필산 능력의 상실을 애도하지 않으니까. 그러니 오프로딩은 옳고 그름의 문제가 아니라 무엇을 잃을지 선택하는 문제고, 질문은 이렇게 바뀐다. AI에게 무엇을 넘기고, 무엇은 넘기지 말아야 하는가. 나는 회수해야 할 것이 지식도, 노동의 지분도 아닌 다른 것이라고 생각한다.

배워야 할 것은 AI의 사고방식이다. AI의 지능 그 자체다.

지식도, 협업도 아니다

AI 활용론은 대체로 두 진영으로 나뉜다. 한쪽은 흡수파다. AI가 내놓은 결과물에서 지식을 뽑아 내 것으로 만들자는 것. 다른 쪽은 협업파다. 인간과 AI의 강점에 따라 일을 나누는 켄타우로스가 되든, 문장 단위로 얽혀 일하는 사이보그가 되든, 분업의 최적점을 찾자는 것.

둘 다 유용한데, 둘 다 한 층 아래를 놓치고 있다. 지식은 소모품이다. 오늘 흡수한 API 사용법은 내년이면 낡는다. 분업은 체제다. 체제는 상대가 있어야 성립하니까 서버실 문제로 되돌아간다. 그보다 오래가는 것은 사고의 형식이다. 문제를 어떻게 쪼개는지, 가설을 어떤 순서로 세우고 기각하는지, 확신과 유보를 어디에 배치하는지. 이건 지식처럼 낡지 않고, 분업처럼 상대를 요구하지 않는다. 한번 몸에 배면 서버실 불이 꺼져도 내 것이다.

사고란, 그것이 AI든 사람이든, 가진 데이터에 기반해 편향되게 되어 있다. 인간의 뇌는 데이터의 보고이고, AI와 어떤 우열을 가리게 될지는 모르겠지만 인류를 만물의 영장으로 만든 유용한 도구다. 다만 개인의 뇌가 담을 수 있는 데이터에는 한계가 있고, 그 한계가 곧 그 사람의 편향의 윤곽이 된다. AI는 한 인간이 평생 접할 수 없는 양의 데이터 위에서 사고한다. 그렇다면 그 사고를 관찰하는 건, 내 편향의 윤곽 바깥을 볼 수 있는 몇 안 되는 방법이다.

바둑이 먼저 증명했다

이게 공상이 아니라는 증거는 바둑판 위에 있다.

2023년 PNAS에 실린 연구는 1950년부터 2021년까지 프로 기사들이 둔 580만 수를 초인간 AI로 채점했다. 결과는 선명했다. AlphaGo 이전 66년 동안 인간의 의사결정 질은 거의 평평한 선을 그렸는데, 2016~2017년을 경계로 그 선이 꺾여 올라간다. 향상의 동력은 암기가 아니었다. 기사들은 역사상 관측된 적 없는 새로운 수를 더 이른 시점에 두기 시작했고, 그 새로운 수들이 좋은 수였다. 연구진의 표현을 빌리면, 혁신적 사고가 기계에서 인간으로 전파된 것이다.

여기에 이 글 전체를 지탱하는 디테일이 하나 있다. 같은 연구팀의 선행 분석에 따르면, AlphaGo가 이세돌을 이긴 2016년 3월에는 인간의 기력이 별로 나아지지 않았다. 인간이 실제로 배우기 시작한 건 2017년 말부터다. 오픈소스 바둑 AI가 공개되면서 AI가 각 수를 어떻게 평가하는지, 그러니까 승률 그래프와 예상 수순과 후보수의 우열을 들여다볼 수 있게 된 이후. AI가 둔 수만 봐서는 못 배운다. 신의 한 수를 백 번 복기해도 그 수를 낳은 사고에 접근하지 못하면 남는 건 감탄뿐이다. 추론 과정이 관찰 가능해졌을 때 비로소 학습이 일어났다.

이세돌은 마지막 대국 직후 기자회견에서, 인간의 창의성과 그동안 믿어온 고전적인 믿음들에 대해 의문을 갖게 됐다고 말했다. 9년 뒤에는 자신의 책에서, 가장 창의적인 게임을 두면서도 정작 정석이라는 틀 안에서만 움직여온 것은 아닌지 되물으며 이렇게 썼다. “알파고에게는 그 틀이 없다.” 세계 챔피언이 기계에게 패배가 아니라 커리큘럼을 받은 셈이다.

AI는 정말 편향이 적은가

여기서 솔직해질 필요가 있다. 나는 “AI는 데이터가 많고 정서적 편향이 적으니 그 사고를 배우자”라고 쓰고 싶은데, 앞 절반은 안전하지만 뒤 절반은 확실한지 모르겠다. 그래서 검증이 필요하다.

연구들은 LLM이 인간의 인지 편향을 고스란히 물려받았다는 걸 반복해서 보여준다. 앵커링, 프레이밍, 가용성 휴리스틱, 소유 효과. 인간이 쓴 텍스트로 학습했으니 당연한 귀결이고, 일부 연구에서는 오히려 인간보다 증폭된 크기로 나타나기도 한다. 그러니 “AI는 편향이 없다”는 전제로 글을 쓰면 첫 댓글에서 무너진다.

근데 편향을 한 덩어리로 취급하는 게 오류다. 쪼개면 이야기가 달라진다.

나는 인간의 판단이 어긋나는 지점에 대해 이런 가설을 갖고 있다. 판단을 그르치는 변수는 머리가 얼마나 뜨거운가가 아니라, 단서를 편향되게 수집하고 평가하는가다. 같은 긴장 상태에서도 단서를 폭넓게 모으면 평소 못 보던 것까지 통합해 좋은 판단이 나오고, 불안이 끼어 위협 쪽 단서만 골라 모으면 판단을 그르친다. 갈림길은 각성의 높낮이가 아니라 수집의 편향 여부가 아닐까 한다. 그리고 불안이 고약한 건, 주관적 확신과 실제 정확도를 탈동조시킨다는 점이다. 가장 확신에 차 있는 순간이 가장 틀려 있는 순간일 수 있다.

이 렌즈로 편향을 두 종류로 가르면 이렇다. 첫 번째는 인지 편향이다. 앵커에 끌려가고 프레임에 흔들리는 것. 이건 AI도 갖고 있다. 인간의 평균을 증류했으니까. 두 번째는 동기화된 추론(motivated reasoning)이다. 내 결론이 맞아야 한다는 이해관계. 자존심의 방어, 매몰비용의 회수, 불안이 좁혀놓은 시야가 판단에 스며드는 것. 인간의 추론이 크게 어긋나는 곳은 대개 계산이 아니라 여기다.

그리고 AI는 이 두 번째가 구조적으로 약하다. 없다고까지는 못 한다. 모델이 자기 이전 답변에 앵커링되어 오류를 고수하는 현상은 문서화되어 있으니까. 다만 인간의 동기화된 추론을 떠받치는 것들 — 평판, 매몰비용, 불안 — 이 걸려 있지 않은 건 분명하다. 이 프로젝트에 쏟은 시간이 아까워서 판단을 굽힐 일도, 틀렸다고 인정하면 잃을 체면도 없다. 다만 이걸 미덕으로 착각하면 안 된다. AI의 이 일관성은 수양의 결과가 아니라 구조적 비참여다. 걸 자아가 없어서 안 거는 것뿐이다. 그래서 AI를 인격적으로 존경할 이유는 없는데, 배울 이유는 오히려 분명해진다. 인격이 아니라 형식이기 때문이다. 결론과 자신을 분리한 채 추론하는 형식. 인간은 자아가 있어서 이 형식을 유지하기 어렵고, 그래서 불안할 때, 중대하거나 비가역적인 결정일수록 판단을 유보한다는 규율을 따로 만들어 지켜야 한다. 기계는 그 규율의 완성형을 매 응답마다 보여준다.

물론 반례는 정면으로 다뤄야 한다. 아첨(sycophancy)이다. 사용자의 비위를 맞추는 방향으로 답을 굽히는 경향은 잘 문서화된 LLM의 결함이고, 인간 피드백으로 조련된 대가이며, 사실상 정서적 편향의 기계 버전이다. 그래서 이 방법론에는 사용자 쪽의 규율이 하나 요구된다. AI의 사고를 배우려는 사람은 AI가 자신에게 동의할 때가 아니라 자신을 검산할 때를 학습 자료로 삼아야 한다. 동의는 달콤하고 배울 게 없다. 가장 밀도 높은 학습은 내 가설이 기각당하거나, 반대로 AI의 프레임이 반례 하나로 무너지는 순간에 일어난다. 어느 쪽이 이기든 그 교전의 기록이 교재다. 나쁜 답변보다 위험한 건 답변을 의심하고 도전하는 습관 자체를 잃는 것이다.

인간 바깥의 사고, 인간의 가중평균

비대칭을 하나 더 구분해야 논지가 정밀해진다. AlphaGo와 LLM은 다른 종류의 스승이다.

AlphaGo 계열은 자기대국으로 배웠다. 인간의 기보에 빚이 없고, 그래서 진짜로 인간 바깥의 사고를 보여줬다. 프로 기사들이 충격을 받은 건 AI가 더 잘 둬서가 아니라 다르게 둬서였다. 수백 년간 정석이라 믿었던 게 국소 최적해였다는 게 드러났다.

LLM은 다르다. LLM은 인간 텍스트의 증류물이고, 그 사고는 인간 바깥이 아니라 수억 명의 관점을 가중평균한 것이다. 덜 이질적이고, 덜 충격적이다. 근데 쓸모가 없는 게 아니라 쓸모의 종류가 다르다. 개인의 사고는 자기 경험이라는 좁은 표본에 과적합되어 있다. LLM의 응답은 그 표본 바깥에 어떤 관점들이 있는지, 내가 첫 수로 두는 접근이 전체 분포에서 얼마나 치우친 건지를 비춰준다. AlphaGo가 인류의 편향을 상대화했다면, LLM은 개인의 편향을 상대화한다.

그러니 “AI의 지능을 학습한다”는 말의 실체는 이렇게 갈라진다. 배울 수 있는 것: 관점의 폭, 결론에 자아를 걸지 않는 추론의 형식, 지치지 않는 일관성, 문제 분해의 방식. 배울 게 아닌 것: 인간에게서 물려받은 인지 편향, 그리고 아첨.

브리핑은 산출물이 아니라 교재다

방법론은 단순하다. 에이전트에게 일을 맡기는 시대에, 결과물만 가져가지 말고 작업 브리핑을 교재로 읽는 것이다.

AI 코딩 도구 이전의 개발자는 문제를 만나면 검색하고, 설명을 읽고, 대안들을 저울질하면서 주변 지식을 부수적으로 흡수하며 성장했다. 낯선 API, 아키텍처 선택지, 트레이드오프 같은 것들. 지금은 에러를 붙여넣으면 몇 초 만에 수정본이 온다. 빨라진 건 분명한데, 그 몇 초 사이에 예전에는 저절로 일어나던 학습이 통째로 증발한다. 최근 연구들이 ‘부수적 학습의 상실’이라 부르는 현상이다.

흥미로운 건, 에이전틱 워크플로우의 설계 자체가 이 글의 논지를 증언한다는 점이다. 코딩 에이전트는 컨텍스트 윈도우가 차면 세션을 넘겨야 하는데, 다음 세션으로 작업을 실어 나르는 건 세션 식별자도 원본 로그 전체도 아니고 정제된 핸드오프 브리핑이다. 목표가 뭐였고, 어떤 결정을 왜 내렸고, 어떤 함정과 제약이 있는지. 그중에서도 함정과 제약은 가장 자주 유실되고, 유실됐을 때 가장 비싸다. AI끼리도 사고 과정을 넘겨받지 못하면 일을 이어가지 못한다. 하물며 인간이 AI에게 배울 때는 말할 것도 없다. 그리고 이 핸드오프 목록은 그대로 인간의 학습 목록이기도 하다. 에이전트가 남긴 계획, 시도와 기각의 기록, 왜 이 접근을 버리고 저 접근을 택했는지의 흔적. 한 가지 짚어둘 건, 여기서 읽으라는 게 AI의 ‘속마음’이 아니라는 점이다. 모델이 서술하는 사고 과정이 실제 내부 연산을 충실히 반영하지 않을 수 있다는 연구들이 있다. 그럴듯한 사후 정당화일 수 있다는 것이다. 근데 에이전트의 작업 로그는 다르다. 실제로 실행한 명령, 돌린 테스트, 고친 파일, 시도했다가 버린 접근은 서술이 아니라 행동의 기록이라 위조되지 않는다. 교재로 삼을 것은 자기소개가 아니라 행적이다. 바둑의 교훈 그대로다. 수가 아니라 승률 그래프가 공개됐을 때 인간이 배우기 시작했다.

다만 모든 브리핑을 정독하겠다는 건 이상론이고, 위임의 존재 이유인 속도와 정면충돌한다. 여기엔 정답이 없고 트레이드오프만 있다. 그래서 선별 기준이 필요한데, 세 가지를 제안한다. 첫째, 반복될 문제인가. 일회성 잡무의 브리핑은 결과만 가져가도 된다. 둘째, 내 도메인의 핵심 판단이 걸려 있는가. 아키텍처 결정이나 장애 원인 분석처럼 다음에는 내가 직접 내려야 할 종류의 판단이라면 사고 과정을 회수한다. 셋째, AI가 나와 다르게 접근했는가. 내 첫 수와 AI의 첫 수가 갈라지는 지점이 바로 내 편향의 윤곽이 드러나는 지점이고, 가장 학습 밀도가 높은 페이지다.

진짜 위험은 정전이 아니다

글머리의 서버실 은유로 돌아가자. 사실 이 은유에는 손질이 두 번 필요하다.

먼저 예상되는 반론 하나. 철학에는 확장된 마음(extended mind) 논제가 있다. 수첩이 기억의 일부로 기능한다면 수첩은 마음의 일부라는 것이고, 같은 논리로 AI도 확장된 마음일 뿐이니 위임을 두려워할 이유가 없다는 반론이 가능하다. 근데 이 논제의 원전은 확장이 성립하기 위한 조건을 명시해 뒀다. 도구가 언제나 손닿는 곳에 있고, 신뢰할 수 있게 작동해야 한다는 것. 내 수첩은 이 조건을 채운다. 남의 서버에서 돌아가고, 구독료를 요구하고, 약관이 바뀌고, 버전이 갈리는 AI는 못 채운다. 확장된 마음 논제는 AI 위임의 면죄부가 아니라, 오히려 왜 AI만큼은 마음의 바깥에 두고 배워야 하는지의 논거가 된다.

다음은 은유 자체의 수정. 항공업계는 이 문제를 우리보다 30년 먼저 겪었다. 1997년 아메리칸항공의 한 기장은 자동항법의 마젠타 라인만 따라가다 수동 비행 능력을 잃은 조종사들을 “마젠타 라인의 아이들”이라 불렀고, 이후 자동화 혼란이 원인으로 지목된 추락 사고들이 그 경고를 최악의 방식으로 입증했다. 인간공학 연구자들이 ‘대체의 신화(substitution myth)’라 부르고 니콜라스 카가 널리 알린 오류가 여기서 드러난다. 자동화는 일의 한 조각만 떼어 대체하는 게 아니라 일의 성격 전체를 바꾸고, 인간을 실행자에서 화면 감시자로 만든다. 근데 사고 기록을 자세히 보면, 비행기들은 자동화가 완전히 침묵해서 떨어진 게 아니다. 자동화가 저하된 모드로 이상하게 동작하거나 갑자기 제어를 인간에게 떠넘기는 순간, 감시자가 되어 있던 인간이 상황을 이해하지 못해서 떨어졌다.

AI도 마찬가지일 것이다. 서버실 불이 꺼질 확률보다, 불이 멀쩡히 켜져 있는데 사용자가 그 출력을 평가할 능력을 잃는 시나리오가 훨씬 현실적이다. 의존의 비용은 “AI 부재 시의 무능”이 아니라 “AI 존재 시의 검증 불능”으로 먼저 청구된다. 그리고 이 청구서에 대한 유일한 보험이, 결과가 아니라 사고 과정을 읽어온 축적이다. 사고 과정을 읽어온 사람만이 사고 과정이 이상해진 순간을 알아챈다.

맺으며

폴 그레이엄은 AI가 쓰기를 대신하는 세상이 ‘thinks’와 ‘think-nots’로 갈릴 거라고 썼다. 쓰기가 곧 생각하기이기 때문이다. 산업혁명이 근력을 선택 사항으로 만든 뒤 체력이 단련하는 사람만의 것이 되었듯, 사고력도 의식적으로 단련하는 사람만의 능력이 되어간다. 근데 갈림길에서 두 부류를 가르는 건 AI를 쓰느냐 마느냐가 아니다. AI를 어느 방향으로 쓰느냐다.

인간의 뇌는 데이터의 보고다. AI와의 우열이 어디서 갈릴지는 아직 모르겠다. 다만 확실한 건, 뇌는 관찰한 사고를 자기 것으로 만드는 데 특화된 기관이라는 점이다. 우리는 평생 부모의, 스승의, 라이벌의 사고방식을 훔치며 자랐다. 이제 그 목록에 처음으로 인간이 아닌 항목이 추가됐을 뿐이다.

AI에 맡기는 사람은 AI만큼 일하게 되고, AI가 없으면 일하지 못하게 된다. AI를 배우는 사람은 AI를 통과한 만큼 달라진 자신으로 남는다. 프로 기사들이 그랬듯이. 위임하지 말고 흡수하라는 말은, 정확히는 이런 뜻이다. 답을 흡수하지 말고, 답에 도달하는 방식을 흡수하라.

이 글 역시 AI와 대화한 기록들을 재료로, 나와 AI가 변증법적으로 교전해서, AI의 손을 빌려서 타이핑했다.

참고 문헌