본문 바로가기
푸른지성의 이야기/Stable Diffusion

AI 그림 그리기(SD) #10 - 영상을 제작해보자 (Deforum)

by 푸른지성 2023. 3. 6.
반응형

 

여기까지 따라 오셨다면, 뭐 이제 

"원하는 포즈"로 원하는 "캐릭터"를 넣어서 만들거나. 

"그림을 실사"로 바꾸는 정도는 손쉽게 가능하실겁니다.

그럼 뭐 초급레벨은 완료!

영상 제작은 중/고급 레벨만이라고 하기엔 애매하니, 초급단계의 마지막 편으로 다뤄봅시다.

 

자. 이제 지금까지 학습한 내용으로 짤막한 영상을 만들어보죠.

영상 제작도 SD안에서 합니다.

SD의 확장팩 Deforum입니다.

확장팩의 디테일한 설치방법은 

 

https://blog.kishe.com/1579

에서 컨트롤넷 설치하실때의 방법을 참고하시면 됩니다.

 

https://github.com/deforum-art/deforum-for-automatic1111-webui

를 아래와 같이 설치해주세요. 

설치 완료 하셨으면 Installed 메뉴에서 Apply and restart UI 를 눌러서 재시작해주세요.

그럼 Deforum 이라는 탭 하나가 추가됩니다. 열어봅시다.

샘플러, 스탭, 가로 세로 크기 등의 자세한 옵션은 이제까지 배운것을 토대로 조정하시면 됩니다.

 

우선 원리는 아래와 같습니다.

우리가 지정한 프롬프트를 토대로, 또는 이미 제작한 이미지를 베이스로 AI가 프레임 이미지를 생성합니다.

그게 우리가 지정한 프레임이 200프레임이면 200장, 100프레임이면 100장 생성합니다.

이미지를 생성할때, 카메라를 돌릴지, 카메라를 이동시킬지 지정할 수 있고, 

처음 제작한 이미지를 얼마나 유지할지, 새롭게 변형해갈지를 정할수도 있습니다. 

그리고 모든 프레임의 이미지가 완성되면 1초당 지정한 fps 기준으로 이미지를 붙입니다.

이미지를 붙일때 배경음악을 합성하여 영상파일을 만들어냅니다.

 

뭔지 모를때는 우선 돌려보면 압니다.

Deforum 메뉴의 Prompts 메뉴를 눌러봅시다.

익숙하네요? 근데 조금 다르기도 합니다.

간단하게 보면. 0 30 60 90 숫자는 프레임으로 보면 되고, 그 뒤에 붙은 것은 각 프레임이 보여줄 프롬프트로 보면 됩니다.

Prompts 는 각 신별로 움직임을 지정합니다.

Prompts positive 는 공통된 프롬프트,

네거티브는 기존과 같은 공통된 네거티브입니다.

Prompts 안에 각 신마다 추가로 네거티브를 넣고 싶을때는 --neg 프롬프트1, 프롬프트2 형태로 추가하면 됩니다.

우선 저대로 두고 오른쪽의 제너레이트를 눌러봅시다.

오. 뭔가 만들어지는데 시간이 꽤 걸립니다.

위의 원리에 따라서, 우리가 지정한 프레임을 모두 만들고 난 뒤 합치기 때문입니다.

따라서, 오른쪽의 프리뷰가 나온 순간, 내 머리속의 이미지와 맞지 않을 경우, 바로 Interrupt를 눌러서 취소하시고, 다시 생성을 누르는 것이 힌트입니다.

시간이 지나고 완료되었나봅니다.

이미지 위에 있는 [Click here.... video] 버튼을 누르면 지금 만든 영상을 확인할 수 있습니다.

아래와 같은 영상이 제작되었습니다.

자. 이제 감이 오시죠?

저 프롬프트에, 지금까지 썼던 프롬프트를 넣고, 각각 신마다 조금씩 다른 포즈데이타를 넣으면??

짤막한 영상이 제작이 됩니다.

 

물론 "나는 시간 많으니 프레임 1000프레임으로 하고, 몇분 이상의 영상을 만들꺼야" 라고 하시면

Keyframes 항목에서 max frames를 조절하고, Output 항목에서 FPS를 조절하시면 엄청 긴 영상도 제작 가능하십니다.

 

AI의 상상력이 보이는 영상을 제작할 것인지, AI가 그냥 시킨대로 딱 고정된 영상을 내놓을 것인지는

여러분들이 입력하는 프롬프트의 제한, 세밀함에 따라 달라지게 됩니다.

화면 돌리기, 카메라 이동, 2d버전, 3d버전 등등의 설정은 직접 해보면서 터득하는게 가장 좋습니다.

 

여기까지 하시면, 어디가서 "AI로 이미지랑 영상쯤은 적당히 만들줄 안다" 고 하셔도 됩니다.

 

 

수고하셨습니다.

여기까지가 초급 코스입니다.

최대한 이해할 필요없는 것은 빼버리고, 이해해야만 하는 것들만 담아봤습니다만, 어떻게들 잘 따라오셨는지 모르겠습니다.

물론 후방 이미지가 많은 도움이 됩니다. 후방 이미지도 많이 만들고, 그 안에 들어있는 각각의 프롬프트들이 무엇을 의미하는지 한번 별도로 써보는 등.

우리가 가장 관심있어하는 것으로 연습해보는게 가장 습득력이 좋습니다.

 

다음편에 계속!

 

반응형

댓글