생성형 AI의 주요 기술 (1) - GAN(Generative Adversarial Network, 생성적 대립 신경망)

    Generative AI의 한글 표현(용어)은 다양합니다. 저는 앞으로 '생성형 AI' 또는 '생성형 인공지능'으로 통일해서 쓰도록 하겠습니다. 또한 Generative Adversarial Network의 한글 이름도 '생성적 대립 신경망(GAN)'으로 부르겠습니다. 

    

    생성형 AI에 대해서 보다 구체적으로 알아보려 합니다. 우선적으로 최근에 괄목할만한 발전을 보이는 생성형 AI를 가능하게 하는 여러 가지 모델과 핵심적 technique(기술)들에 대해 공부합니다. 그 첫 번째로 이번 편에서는 생성적 대립 신경망(GAN, Generative Adversarial Network)의 원리와  관련된 윤리적 문제에 대해 자세히 알아보도록 하겠습니다.

 

1. 생성적 대립 신경망이란?

     이안 굿펠로우(Ian Goodfellow)가 2014년 NIPS 학회에서 발표한 논문 'GAN(Generative Adversarial Network)으로 세상에 알려졌습니다. GAN은 대립적 과정을 통해 생성 모델을 평가하는 새로운 프레임워크를 제공합니다. 생성모델(Generatior)과 판별모델(Discriminator)이 경쟁하면서 실제와 가까운 이미지, 동영상, 음성 등을 자동으로 만들어 내는 기계학습(ML: Machine Learning) 방식의 하나로서 특정 분야 실제 예제들을 학습하고 공통점을 추론하여 매우 정교한 위조품을 만들어 낼 수 있습니다.

    또한 지도 학습 중심의 딥러닝 패러다임을 비지도 학습으로 바꿔놓은 획기적인 방법으로 인공지능 학계에 큰 반향을 일으켰습니다. 이후 GAN을 기반으로 한 다양한 후속 연구와 사례들이 많이 나타나고 있습니다. 딥러닝의 대가인 얀 르쿤(Yann Lecun) 교수는 GAN을 최근 10년간 머신러닝 연구 중 가장 혁신적인 아이디어로 꼽았습니다. 생성적 대립 신경망(GAN)은 무엇보다 진짜 같은 가짜를 쉽고 빠르게 만들 수 있다는 점에서 널리 확산되고 있으며, 차세대 딥러닝 알고리즘으로 주목받고 있습니다. 최근에 세상의 주목을 받고 있는 OpenAI사의 GPT 및 구글 Bard의 구현에도 핵심 기술로 활용되었습니다.

2. 생성적 대립 신경망의 원리 - 진짜 같은 가짜를 만드는 기술

    GAN은 생성적 대립 신경망이라는 이름처럼 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 만들어냅니다. 두 모델은 '생성자(Generator)'와 '판별자(Discriminator)'로 불리는데 상반된 목적을 갖고 있습니다. 생성자는 실제 데이터를 학습하고 이를 바탕으로 거짓 데이터(이미지)를 생성합니다. 실제에 가까운 거짓 데이터를 생성하는 게 목적입니다. 판별자는 생성자가 내놓은 데이터(이미지)가 실제인지 거짓인지 판별하도록 학습합니다. 생성자의 거짓 데이터에 놀아나지 않는 게 목적입니다.

    이안 굿펠로우는 생성자를 위조지폐범에, 판별자를 경찰에 비유했습니다. 생성자는 판별자를 속이지 못한 데이터를, 판별자는 생성자에게 속은 데이터를 입력받아 학습합니다. 이 과정이 반복되면서 위조지폐가 정교해지듯 점점 더 실제에 가까운 거짓 데이터를 만들 수 있게 되는 셈입니다.

    

GAN의 학습 과정 원리 <출처: 네이버랩스>

    GAN이 차세대 딥러닝 알고리즘으로 주목받는 이유는 기존 지도 학습 방식에서 벗어나 비지도 학습의 초석을 다졌기 때문입니다. 대부분의 AI 연구는 지도 학습 방식으로 이뤄집니다. 사람이 정답을 알려주는 방식의 학습입니다. 해당 이미지가 고양이인지 개인지 태그를 달아주는 등 AI가 학습할 수 있는 방식으로 데이터를 가공하는 과정이 필요합니다. 이 같은 지도 학습 방식은 대량의 데이터를 정제 과정 없이 처리할 수 없다는 점과, 학습 데이터를 가공하는 과정에서 인간의 수작업이 필요하다는 점 때문에 한계가 있습니다. 반면 GAN은 인간이 정답을 알려주지 않아도 경쟁 과정 속에 스스로 학습하며, 대량의 데이터를 AI 스스로 학습하기 때문에 파급 효과가 더 큰 셈입니다. 특히 생성 모델을 통해 직접 이미지나 음성을 만들어낸다는 점에서 다른 지도 학습형 알고리즘과 차별화됩니다.

3. 다양한 적용 분야

1) 이미지 생성

    GAN은 주로 이미지 생성에 활용됩니다. 실제 이미지를 학습해 거짓 이미지를 만들어냅니다. 엔비디아는 2017년 유명인 20만 명의 사진을 학습시켜 실존하지 않는 사람들의 사진을 무한대로 만들어낼 수 있는 기술을 선보였습니다. 사람의 눈으로는 실존 인물인지 가상 인물인지 판별하기 어려운 수준의 사진입니다. 과거에는 전문가가 포토샵 등을 이용해 일일이 작업해야 가능했던 일을 더 빠르고 쉽게 작업을 할 수 있게 됐습니다. 엔비디아가 발표한 논문은 사람뿐만 아니라 침실, 화분, 소파, 버스 등의 사물도 AI가 실제처럼 만들어낼 수 있다는 걸 보여줍니다. 또 GAN을 활용해서 간단한 스케치만으로 제품 디자인 시안을 생성해 주거나 유명 화가의 그림처럼 만들어주는 일도 가능해졌으며, 저해상도 사진을 고해상도로 만드는 등 손상된 이미지를 복원할 수도 있습니다.    

 2) 영상 합성

    GAN은 영상 합성에도 활용됩니다. 지난 2017년 미국 워싱턴대학교 연구진은 버락 오바마 전 미국 대통령의 가짜 영상을 만들어 화제가 됐습니다. 오바마 전 대통령의 연설 영상에서 음성을 따서 이 음성에 맞게 입 모양을 내도록 학습시켜 합성해 실제로는 존재하지 않는 영상을 만들어냈습니다. GAN은 음성 합성에서도 성과를 내고 있습니다. IBM 등은 특정 인물의 목소리, 말투, 화법 등을 학습시켜 실제 사람의 음성을 만들어내는 연구를 하고 있습니다.

3) 텍스트 생성

    MIT의 한 연구진은 수천 개의 이미지와 시를 쌍으로 학습시켜 AI가 이미지를 보고 시를 만들어내도록 하는 연구를 진행했습니다. 30명의 영문학 전문가를 포함한 500명에게 AI가 만든 시와 인간이 쓴 시를 구별하도록 했는데, 영문학 전문가 중 60%만 AI가 쓴 시를 선별해 냈으며, 나머지 심사자들은 이보다 못한 결과를 나타냈습니다.

    이안 펠로우는 '엔비디아 GPU 테크놀로지 콘퍼런스(GTC2017)'에서 "GAN에게 특정한 문장 스타일이나 화법을 공부시키면 이를 학습해 사용자보다 훨씬 풍부하고 정교한 언어를 사용할 수 있다"라고 발표했습니다.

4) 국내 활용 사례

    국내에서도 GAN을 활용한 여러 서비스가 등장하기 시작했습니다. 네이버는 GAN을 적용한 몰입형 웹툰을 선보였습니다. 네이버 웹툰 '마주쳤다'는 독자의 사진을 활용해 웹툰 이미지로 생성했으며 독자가 웹툰 속 주인공이 되는 경험을 제공했습니다. 스타트업 기업인 알레시오는 GAN을 응용해 태아의 입체 초음파 사진을 이용하여 미래에 태어날 아기의 얼굴로 변환해 주는 서비스를 준비 중이라고 합니다

4. 딥 페이크 문제

    GAN은 진짜 같은 가짜를 생성해 준다는 점에서 높은 활용성이 기대되지만 악용 가능성에 대한 우려도 만만치 않습니다. 현재도 GAN을 활용한 '딥페이크' 포르노 영상들이 유통되면서 부작용을 낳고 있습니다. 과거에도 이미지, 영상 합성 등으로 인한 문제가 없었던 건 아니지만 가짜 콘텐츠를 쉽고 빠르게 대량으로 찍어 낼 수 있다는 점에서 이전과 다른 파괴적 영향력을 가질 수 있습니다.

    가짜 뉴스 역시 앞으로 많은 부작용을 일으킬 가능성이 있습니다. 기술의 발전에 따라 가짜뉴스의 생산 속도와 양이 기하급수적으로 늘면서 이전과 다른 사회적 파급력을 갖게 될 것입니다. 특히 텍스트보다 신뢰성 있는 이미지, 음성, 영상들이 실제와 가깝게 만들어져서 가짜뉴스와 함께 배포할 경우 문제는 더욱 심각해질 것입니다.

    최근 기술의 윤리성에 초점이 맞춰지는 이유도 여기에 있습니다. AI 기술의 부작용에 대한 우려가 늘면서 글로벌 IT 기업들은 AI 윤리 규범을 내놓고 있습니다. 마이크로소프트는 2017년 자사의 AI 연구 인력을 위한 'AI 디자인 원칙'과 'AI 윤리 디자인 가이드'를 소개했습니다. AI가 효율성을 극대화하되 인류를 위협하지 않고 인류 발전에 기여해야 하며 투명성을 갖추고 기술이 신뢰에 기반해야 한다는 내용을 담고 있습니다. 같은 해 1월 미국 캘리포니아주 아실로마에 테슬라 최고경영자 일론 머스크, 알파고를 개발한 데미스 허사비스 등이 모여서 '아실로마 AI 원칙'을 발표했습니다. 국내 기업 중에는 카카오가 '알고리즘 윤리 헌장'을 2018년 1월 발표한 바 있습니다.

 

2023.06.23 - [생성형 AI(Generative AI; GAI)] - 인공 창조력의 실현: 생성형 인공지능(AI) 세계 탐구