https://github.com/taekyungss/character_meme_generator
여러분은 혹시 짤 이라는 단어를 들어보신 적 있으신가요?
아마 여러분 중 많은 분들이 짤을 한 번쯤은 들으셨거나 사용하셨을 거 같습니다.
짤이란 어떤 말이나 느낌을 이모티콘처럼 대신 표현할 수 있는 사진을 의미합니다.
평소에 짤을 좋아하여 핀터레스트나 네이버, 구글 사이트에서 짤을 종종 수집하곤 하는데요, 정말 많고 다양한 짤들이 존재하지만 저희 니즈에 딱 맞는 짤을 찾는 것은 매우 어려웠습니다.
그래서 저희 퓨핑팀이 직접 원하는 짤을 만들어 보면 어떨까? 라는 생각에서 프로젝트 주제를 선정하게 되었습니다.
⬇️ 저희 퓨핑팀의 프로젝트 흐름도입니다 !
캐릭터 형체를 생성하기 위해 저희는 많은 Text-to-Image 모델 중에 DreamBooth 모델을 사용했습니다. DreamBooth는 대상에 대한 몇 가지 이미지가 주어지면 주요 시각적 특징에 대한 높은 일관성을 유지하면서 다양한 맥락에서 주제의 새로운 표현을 합성을 가능하게 합니다. 또한, Text-to-Image Diffusion 모델을 기존 의미론적 지식을 유지하면서 파인 튜닝(Fine-Tuning)할 수 있다는 장점이 있습니다.
이번 프로젝트는 캐릭터 별 짤 생성하기 가 주요 작업이기 때문에 해당 객체인 캐릭터를 잘 살릴 수 있다고 판단하여 DreamBooth를 사용하게 되었습니다.
DreamBooth가 객체를 중심으로 생성하기 때문에 배경 생성이 다소 부족했습니다. 따라서, **Inpaint Anything**이라는 모델을 사용하여 생성한 캐릭터는 Segmentation하여 고정하고, 배경을 Inpainting 하여 생성하여 최종 캐릭터 짤을 만들어 보게 되었습니다.