▲ 종이신문보기

2002년에 개봉된 영화 '뷰티풀 마인드(A Beautiful Mind)'는 천재 수학자 존 내시의 일생을 실화를 바탕으로 만든 영화이다. 영화에서 존 내시는 1947년 프린스턴대학교에 시험도 보지 않고 장학생으로 입학한 천재 수학자로 나온다. 그는 정규 수업에도 잘 참석하지 않고 혼자 독창적인 사고와 몰입으로 게임이론에 관한 새로운 연구를 추구한다. 주로 창문 유리창과 칠판에 수식을 풀어간다. 이후 MIT 교수로 승승장구하던 그는 정부 비밀요원을 만나 냉전 시대에 필요했던 소련 암호 해독 프로젝트에 투입된다. 그리고 정신분열증에 시달린다. 특히 영화 시작 부분에서 프린스턴대학의 학과장은 수학과 신입생들에게 다음과 같이 말한다. "수학자들이 전쟁에서 이겼습니다. 수학자들이 일본군의 암호를 해독했습니다. 그리고 원자폭탄을 만들었죠. 여러분과 같은 수학자들이 말이죠. 미국의 미래를 여러분의 손에 맡깁니다." 인공지능과 반도체를 중심으로 지금 벌어지고 있는 기술 패권 전쟁 시대에도 수학의 가치와 수학자의 역할은 변하지 않았다.

인공지능·반도체 설계, 수학이 기본

인공지능의 핵심 알고리즘은 기계학습(Machine Learning)이다. 기계학습에서는 인공지능이 데이터로 학습한다. 데이터는 메타버스와 컴퓨터 시뮬레이션으로 얻는다. 그런데 이러한 기계학습의 학습(Training)과 판단(Inference)의 원리도 결국 수학에 기초한다. 결국 기계학습은 수학 덩어리이다. 인공지능망(Neural Network)의 입력은 디지털 데이터의 묶음인 '벡터'로 표현된다. 영상, 소리, 텍스트 모두 디지털 벡터의 연속으로 표현된다. 이들이 수많은 '행렬' 곱셈을 거쳐서 인공지능 출력을 얻는다. 이때 최종 출력은 '확률 함수'로 표현된다. 인공지능의 정확성을 높이기 위해서는 무한대에 가까운 학습을 반복한다. 이 과정으로 인공지능망의 변수를 최적화한다. 이때 오차함수를 최소화한다. 이 과정에서 수학의 '미분(Gradient Descent)'이 사용된다. 오차 함수 미분의 기울기가 '0'에 가깝게 될 때까지 학습을 계속한다. 이처럼 기계학습의 학습 과정과 판단 과정 모두 수학의 계산 과정과 논리로 이루어져 있다. 다만 그 수많은 계산을 인간을 대신해서 컴퓨터가 수행한다. 이렇게 수학이 인공지능의 기초 원리를 제공하고 동시에 복잡한 '초거대 모델(Giant Model)' 설계의 방향을 제시해 준다. 인공지능은 수학의 힘이다.

반도체 설계에서도 수학의 힘이 절대적이다. 반도체 칩 하나에는 수백억 개의 전류와 전압 파형(Waveform)이 존재한다. 반도체의 정상 동작을 위해서는 정해진 시간 내에 약속된 이러한 파형들이 정확히 전달되어야 한다. 이 파형들을 수학으로 표현하면 바로 다변수(Multi-variable) 미분방정식(Differential Equation)이 된다. 영화에서 존 내시가 MIT 수업 시간에 칠판에 가득 풀던 방정식들이다. 수학 미분은 사물의 변화를 표현한다. 반도체 속에서도 마찬가지이다. 결국 반도체 설계의 완성을 수학적으로 확인(Verification)하기 위해서는 수백억 개의 미분방정식을 동시에 풀어야 한다. 인간은 그 많고 복잡한 방정식을 풀 수 없다. 컴퓨터가 대신 정확하고 빠르게 풀어준다. 이렇게 반도체 설계 능력도 수학 실력이다.

영화에서 존 내시는 프린스턴 대학 강의를 자주 빼먹으면서 다음과 같이 말한다. "수업은 생각을 무디게 만들고 진정한 독창성에 대한 잠재력을 파괴한다." 이렇게 수학 교육의 방식에 대한 의문을 던진다. 지금 우리나라 대학 입학 시험 문제는 1931년 경성제국대 예과 입학 수학 시험 문제와 차이가 없다. 거의 똑같다. 주입식이며 일방적이고 문제 풀이 위주이다. 이제 수학 교육도 플립러닝(Flipped Learning) 방식으로 바뀌어야 한다. 바로 '거꾸로 수업'이다. 교사와 학생의 역할이 바뀐다. 학생은 기본 정의와 개념을 미리 자료를 통해 공부해 오고 수업 시간에는 학생이 직접 설명하고 토론하고 질문을 주도한다. 이 과정에서 추상적인 수학 언어를 정의하고 추론 논리를 전개하며, 그 결과를 공유하고 토론한다. 이제 정답이 있는 문제를 주어진 시간에 빨리 푸는 역할은 인공지능에게 맡겨야 한다. 인간이 인공지능으로 무장한 컴퓨터와 경쟁하는 것은 부질없다.

수학 교육과 평가 방식의 혁신 절실

수학에서는 수와 도형 그리고 함수라는 추상적 언어를 통해 문제를 이해하고 해결한다. 그리고 그 과정에서 얻은 결과를 개념화한다. 이를 통해서 일반적인 지식을 만들어 내고 그 지식을 다시 새로운 문제에 응용할 수 있다. 수학은 인간에게 논리력, 상상력, 창조력과 동시에 통찰력을 주는 놀라운 도구가 된다. 그리고 수학적 정직함이 윤리적 올바름과 예술적 아름다움의 근본이 된다. 이제 코로나19가 어서 끝나고 강의실로 돌아가 칠판 앞에 다시 선 내 자신의 모습을 보고 싶다. 눈빛이 초롱초롱한 학생들과 수학의 논리적 아름다움과 정직함을 공유하고 싶다. 깨끗하게 지워진 기다란 칠판 전체를 수학 공식으로 가득 채우고 설명하고 토론한다. 쓰인 수학 공식에 경이로운 상상과 발상 그리고 소통이 담겨 있다. 이때 꼭 부드럽게 쓰여지는 새하얀 분필을 사용해야 한다. 유리판에 미끄러지는 아이패드의 전자펜이 주는 느낌은 절대 분필 가루 냄새를 대신할 수 없다. 인공지능과 반도체 설계를 토론하면서 하루 종일 학생들과 수학에 빠지고 싶다.

[그래픽] 1923~2022년 국적별 필즈상 수상자 수

[그래픽] 인공지능에 필요한 수학 / 반도체 설계에 필요한 수학