شما درحال پاسخ به هستید :
به گفت‌وگو بپیوندید !
0
لب‌زدن داغون کاراکترای AI رو چطور درست می‌کنید؟
من یه ویدیوی کوتاه خیلی باحال با Runway از یه کاراکتر ساختم. بعد با ElevenLabs یه صدای خیلی تمیز هم براش درست کردم که بذارم روش. تا اینجا همه چی عالی... ولی وقتی این دوتا رو می‌ذارم رو هم، یه فاجعه‌ای میشه که بیا و ببین! صدا داره میگه "سلام خوبی؟"، دهن اون کاراکتر بدبخت داره اندازه یه گردو باز و بسته میشه و یه چیز بی‌ربط میگه! انگار دارن فیلم خارجی با دوبله فارسی ۳۰ سال پیش رو پخش می‌کنن! می‌خواستم ببینم کسی راه حل درست و حسابی برای سینک کردن اینا پیدا کرده؟ ابزار دیگه‌ای هست؟ پلاگینی برای نرم‌افزارهای ادیت هست؟ یا قلق خاصی تو خود این ابزارها هست که من بلد نیستم؟ هر راهی بلدید بگید که بدجوری کارم لنگ مونده. دمتون گرم.
به گفت‌وگو بپیوندید !
راه حلش اینه که یه ابزار تخصصی دیگه رو بذاری وسط گردش کارت. یعنی نباید انتظار داشته باشی Runway و ElevenLabs خودشون این کار رو تمیز انجام بدن. تو به یه ابزار سوم نیاز داری که کارش فقط و فقط سینک کردن لب و صدا باشه. راحت‌ترین و سریع‌ترین راه، استفاده از ابزاری مثل HeyGen هست. شاید فکر کنی فقط برای ساخت آواتاره، ولی یه قابلیت خیلی خفن برای همین کار داره. ویدیوی خودت رو که با Runway ساختی بهش میدی، فایل صدای ElevenLabs رو هم بهش میدی، و اون مثل آب خوردن لب‌های کاراکترت رو با صدای جدید کاملاً سینک می‌کنه. برای شروع، این بهترین و بی‌دردسرترین گزینه‌ست. حالا اگه دنبال یه راه رایگان و قدرتمندتر می‌گردی و یه ذره هم حال و حوصله کار فنی داری، باید بری سراغ Wav2Lip. این یه پروژه اوپن سورسه که بچه‌های حرفه‌ای ازش استفاده می‌کنن. شاید راه‌اندازیش یه کم سخت‌تر باشه (معمولاً با گوگل کولب راحت‌تره)، ولی خروجی‌ش فوق‌العاده دقیقه و روی هر نوع ویدیو و صدایی جواب میده. ابزارهای دیگه‌ای مثل Synthesia هم هستن که تقریباً همین کار رو انجام میدن. روند کار با همشون تقریباً یکیه: ویدیوی بدون صدات رو از Runway می‌گیری، صدای تمیزت رو از ElevenLabs آماده می‌کنی. بعد هر دوتا فایل رو میندازی تو یکی از این ابزارهای Lip-sync، دکمه رو می‌زنی و چند دقیقه بعد یه ویدیوی جدید و کاملاً سینک‌شده تحویل می‌گیری. خلاصه که راه حل مستقیم تو خود Runway یا ElevenLabs نیست. باید این مرحله سوم رو به کارت اضافه کنی. با HeyGen شروع کن، اگه خواستی خیلی حرفه‌ای‌تر بشی برو سراغ Wav2Lip. مشکلت حله.
0