런웨이 gen-2의 비디오 생성 기능과 한계를 알아보자

 

런웨이 gen-2란?

런웨이 gen-2는 텍스트, 이미지, 비디오를 입력하면 새로운 비디오를 생성하는 다중 모달 인공지능 시스템입니다. 런웨이는 2022년 9월에 이전 버전인 gen-1을 공개한 후 반년여 만에 gen-2를 선보였습니다. gen-2는 고해상도의 비디오 합성과 스타일 전송, 스토리보드 생성, 마스크 생성, 렌더링 등 다양한 기능을 제공합니다.

 

런웨이 gen-2의 장점은?

1. 텍스트만으로 비디오를 생성할 수 있습니다.

예를 들어 "낮에 산 위에서 날아다니는 드론"이라고 입력하면 그에 맞는 비디오를 만들어줍니다.

 

2. 텍스트와 이미지를 함께 입력하면 이미지의 스타일과 텍스트의 내용을 결합한 비디오를 생성할 수 있습니다.

예를 들어 "로우 앵글로 걷는 남자"라는 텍스트와 남자의 인물 사진을 입력하면 로우 앵글로 걷는 남자의 비디오를 만들어줍니다.

 

3. 이미지만으로 비디오를 생성할 수 있습니다.

예를 들어 산의 사진을 입력하면 산의 다양한 모습을 보여주는 비디오를 만들어줍니다.

 

4. 원본 비디오의 피사체나 배경에 임의의 이미지나 텍스트를 합성할 수 있습니다.

예를 들어 춤추는 남자의 비디오에 게임 캐릭터의 이미지를 합성하면 게임처럼 보이는 비디오를 만들어줍니다.

 

5. 원본 비디오의 일부 요소를 제거하거나 수정할 수 있습니다.

예를 들어 개가 산책하는 비디오에 "흰 털에 검은 반점이 있는 개"라는 텍스트를 입력하면 개의 모습을 바꾸어줍니다.

 

6. 원본 비디오의 느낌을 실사나 애니메이션 화풍으로 조절할 수 있습니다.

예를 들어 자동차 경주하는 비디오에 "만화처럼"이라는 텍스트를 입력하면 만화스러운 비디오로 바꾸어줍니다.

 

7. 기초 수준의 3D 모델링을 실제 피사체처럼 바꿔줄 수 있습니다.

예를 들어 집의 3D 모델링을 입력하면 실제 집처럼 보이는 비디오로 바꾸어줍니다.

 

8. 사용자가 원하는 데이터로 모델을 커스터마이징할 수 있습니다.

예를 들어 꽃 사진을 입력하면 꽃 스타일의 비디오를 생성할 수 있습니다.

 

런웨이 gen-2의 한계는?

1. 비디오의 해상도와 선명도가 낮고 프레임 수도 적습니다.

그래서 화면 속 피사체의 모습은 거칠고 움직임도 뚝뚝 끊기는 듯한 모습을 보입니다.

 

2. 비디오 결과물의 길이도 아직은 4초 남짓으로 짧습니다.

긴 비디오를 생성하려면 여러 개의 클립을 이어붙여야 합니다.

 

3. 이 기술은 아직 일반 소비자나 기업이 임의로 활용할 수 없습니다.

회원가입과 대기자 등록을 하고 추후 사용이 가능한 방식입니다.

 

런웨이 gen-2의 미래는?

런웨이는 다중 모달 인공지능 기술을 더욱 고도화하고 gen-2의 성능을 강화할 예정입니다. 사진이나 그림을 만드는 인공지능의 발전 속도를 고려하면, 이 기술 역시 단시간에 크게 발전해 실제 동영상 수준의 결과물을 만들 것으로 기대합니다. 런웨이 gen-2는 창의적인 비디오 제작에 새로운 가능성을 열어줄 것입니다.