엔비디아(Nvidia)의 퍼퓨전(Perfusion): 이미지 생성 AI의 혁신

엔비디아(Nvidia)는 8월 6일부터 10일까지 미국 LA에서 열리는 컴퓨터 그래픽 콘퍼런스 '시그래프 2023 (SIGGRAPH 2023)'에서 이미지 생성 AI '퍼퓨전’ (Perfusion)을 소개할 예정입니다.

 

퍼퓨전은 다양한 도메인과 모달리티의 이미지를 자연스럽고 현실적으로 합성하는 기술입니다. 퍼퓨전은 엔비디아의 연구원들이 미국, 유럽, 이스라엘의 12개 이상의 대학과 협업하여 개발한 연구 결과물로, 생성 AI 및 뉴럴 그래픽 분야의 최신 동향을 보여줍니다.

 

 

퍼퓨전의 특징과 장단점

퍼퓨전은 기존의 이미지 합성 기술과 달리, 다양한 도메인과 모달리티의 이미지를 자유롭게 조합할 수 있습니다.

 

예를 들어, 사람의 얼굴 사진과 만화 캐릭터의 스타일을 결합하거나, 실제 장면에 가상의 객체를 삽입하거나, 텍스트로 된 설명에 따라 이미지를 생성하거나, 스케치로 된 초안을 색칠하거나, 낮과 밤이나 계절을 바꾸는 등의 작업이 가능합니다.

 

퍼퓨전은 이러한 다양한 작업을 하나의 모델로 수행할 수 있습니다. 퍼퓨전은 각 도메인과 모달리티에 맞는 전문적인 모델을 따로 학습할 필요 없이, 공유된 잠재 공간(latent space)을 통해 서로 다른 이미지를 변환하고 합성합니다. 이렇게 하면 모델의 크기와 학습 시간을 줄일 수 있으며, 새로운 도메인과 모달리티에도 쉽게 적용할 수 있습니다.

 

또한 퍼퓨전은 사용자의 입력에 따라 이미지를 실시간으로 조정할 수 있습니다. 사용자는 마우스나 펜으로 이미지에 스케치를 그리거나 지우거나, 슬라이더를 움직여서 이미지의 스타일이나 강도를 바꾸거나, 텍스트로 된 명령어를 입력하여 이미지를 제어할 수 있습니다. 이렇게 하면 사용자는 자신이 원하는 이미지를 손쉽게 만들 수 있습니다.

 

 

생성 AI 퍼퓨전에도 단점은 존재하는데요.

 

제한된 도메인

퍼퓨전은 현재 사실적인 이미지를 생성하는 데에만 적용될 수 있으며, 초현실적이거나 환상적인 이미지를 생성하는 데에는 적합하지 않습니다.

 

예를 들어, '날고 있는 공룡’이나 '불타는 바다’와 같은 비주얼을 생성하려고 하면, 모델은 현실과 일치하지 않는 결과물을 출력할 수 있습니다.

 

높은 연산 비용

퍼퓨전은 매우 강력한 GPU를 필요로 하는데, 이는 고가의 클라우드 서비스 비용을 발생시킬 수 있습니다. 또한 모델은 많은 양의 메모리와 디스크 공간을 소모하므로, 사용자는 자신의 컴퓨터나 서버의 성능을 확인하고 적절한 용량을 확보해야 합니다. 그리고 현재는 엔비디아 DGX SuperPOD™ 클라우드에서만 실행될 수 있으므로, 다른 플랫폼에서는 사용할 수 없습니다.

 

저작권 문제

퍼퓨전은 사용자가 제공하는 이미지 예시를 기반으로 이미지를 생성하는데, 이는 저작권이 있는 이미지를 사용할 경우 저작권 침해의 위험이 있습니다. 따라서 사용자는 자신이 저작권을 가진 이미지나 공개 도메인에 속하는 이미지를 사용해야 합니다.

 

퍼퓨전의 응용 분야와 전망

퍼퓨전은 이미지 생성 AI의 혁신적인 기술로, 다양한 분야에 응용될 수 있습니다. 예를 들어

 

예술과 디자인

퍼퓨전을 이용하면 예술가와 디자이너들은 자신의 창의력을 더욱 발휘할 수 있습니다. 퍼퓨전은 다양한 스타일과 장르의 이미지를 만들 수 있으므로, 새로운 아이디어와 표현을 탐구할 수 있습니다. 또한 퍼퓨전은 사용자의 스케치나 텍스트를 기반으로 이미지를 완성해 주므로, 작업의 효율성과 속도를 높일 수 있습니다.

 

교육과 학습

퍼퓨전을 이용하면 교육자와 학습자들은 이미지를 통해 더욱 쉽고 재미있게 지식을 전달하고 습득할 수 있습니다. 퍼퓨전은 복잡하고 추상적인 개념을 시각화하거나, 실제와 가상의 세계를 연결하거나, 다양한 시나리오와 상황을 시뮬레이션할 수 있으므로, 교육과 학습의 품질과 효과를 향상시킬 수 있습니다.

 

엔터테인먼트와 미디어

퍼퓨전을 이용하면 엔터테인먼트와 미디어 산업에서 더욱 다양하고 혁신적인 콘텐츠를 제작할 수 있습니다. 퍼퓨전은 사실적이고 매력적인 캐릭터와 배경을 생성하거나, 기존의 이미지에 새로운 요소를 추가하거나, 사용자의 요구에 맞게 이미지를 수정하거나, 개인화된 이미지를 제공할 수 있으므로, 콘텐츠의 질과 다양성을 높일 수 있습니다.

 

이러한 응용 분야 외에도 퍼퓨전은 의료, 보안, 공학 등 다른 분야에서도 유용하게 사용될 수 있습니다. 퍼퓨전은 이미지 생성 AI의 가능성을 넓히고, 인간의 상상력과 창조력을 증진시키는 기술입니다. 엔비디아는 퍼퓨전을 통해 미래의 이미지 생성 AI를 선도하고자 합니다.