▲ 종이신문보기

매년 세상을 놀라게 하려는 결심이라도 하려고 한 걸까? 작년에 챗GPT로 충격을 주었던 오픈AI가 얼마 전 공개된 소라(SORA)라는 새로운 생성형 인공지능으로 우리를 또 한번 놀라게 하고 있다.

생성형 인공지능의 핵심은 멀티모달(multi modal)과 크로스모달(cross-modal)이다. 다시 말해, 단순히 글, 그림, 영상을 넘어, 영상과 그림과 글을 함께 학습시키면 글을 사용해 그림을 생성할 수 있고, 그림으로 영상을 만들어낼 수 있다는 점이다. 특히 글로 생성 가능한 영상은 우리의 상상력을 부추긴다. 대본만 입력하면 영화가 만들어지고, 어제 저녁에 꾼 꿈을 글로 표현하면 바로 영상으로 볼 수 있다면 얼마나 흥미로울까?

덕분에 챗GPT가 등장한 이후 수많은 생성형 영상 인공지능이 등장했지만, 모두 비슷한 문제를 가지고 있었다. 생성된 영상의 길이가 2~3초를 넘으면 내용이 왜곡되고 서로 연결되지 않는다는 점이었다. 특히 이렇게 만들어진 영상에서는 계속 먹어도 접시의 파스타가 줄지 않거나, 걸어오던 사람들이 서로 몸을 통과하기도 하는 등 물리학적으로 불가능한 내용들이 구현된다. 진정한 의미에서 영상을 이해하고 만든 것이 아니라, 단순히 픽셀들의 움직임을 수학적으로 예측했기에 벌어지는 문제들이다.

하지만 오픈AI의 소라는 다르다. 최대 1분까지 영상 생성이 가능하고, 영상 속 인물과 물체들은 일관성을 유지한다. 그리고 직접 설명한 적이 없는데도 영상 속 내용에서는 물리학적 법칙이 유지되고 있다. 높은 곳에서 떨어진 물체는 아래로 떨어지고, 단단한 두 물체가 충돌하면 서로 통과하는 게 아니라 튕겨 나간다.

문법을 배우지 않은 챗GPT가 단어들 간의 확률 관계만으로 올바른 문장을 만들어내듯, 이제 소라는 학습된 영상 속 물체들의 상호 관계를 기반으로 세상의 법칙을, 그러니까 '세상이 돌아가는 방식'을 추론하기 시작했다. 거대언어모델(LLM)을 넘어 우리는 이제 '거대세상모델'(Large World Model, LWM)을 만들기 시작한 것이다. 기고자 : 김대식 카이스트 전기및전자공학부 교수
장르 : 연재
본문자수 : 1019
표/그림/사진 유무 : 있음
웹편집 : 보기