أصدرت شركة NVIDIA المختصة بإنتاج بطاقات العرض المرئي ومعالجات الروسمات، ورقة بحثية حول نموذج لتحويل النص إلى فيديو (T2V) لتركيب الفيديو عالي الدقة.
ويعتمد نموذج T2V على نوع من نماذج الذكاء الاصطناعي يسمى نموذج الانتشار الكامن (LDM).
ويتم تدريب LDMs على مجموعة بيانات كبيرة من الصور ومقاطع الفيديو، لاستخدامها في إنشاء صور أو مقاطع فيديو جديدة مشابهة للبيانات التي تم تدريبها عليها.
كما يستخدم نموذج T2V تقنية تسمى “المحاذاة الزمنية” للتأكد من أن مقاطع الفيديو التي تم إنشاؤها متناسقة، مما يعني أن الإطارات في الفيديو تتدفق بسلاسة وتكون منطقية.
لكن هذه مشكلة صعبة، حيث تحتاج نماذج T2V إلى تعلم التنبؤ ليس فقط بمظهر كل إطار في مقطع فيديو، بل بحركة الكائنات والأشخاص في الفيديو.
وتم تدريب نموذج T2V على مجموعة بيانات ضخمة، ويمكنه إنشاء مقاطع فيديو بدقة تصل إلى 000 × 1280 بكسل.
كذلك يمكن للنموذج إنشاء مقاطع فيديو بأنماط متنوعة، بما في ذلك الرسوم المتحركة والأنيمي واللقطات الواقعية.
لا يزال نموذج T2V قيد التطوير، لكن لديه القدرة على إحداث ثورة في الطريقة التي ننشئ بها مقاطع الفيديو ونتفاعل معها.
ميزات لـ T2V
وفيما يلي بعض الميزات الرئيسية لـ T2V:
_ إنشاء مقاطع فيديو عالية الدقة (تصل إلى 1280 × 2048 بكسل)
_ إنتاج مقاطع فيديو بأنماط متنوعة، ومنها الرسوم المتحركة والأنيمي واللقطات الواقعية.
_ علاوة على أنه متناسق زمنيًا، ما يعني أن الإطارات في الفيديو تتدفق بسلاسة وتتسم بالمنطقية.
_ كما تم تدريبه على مجموعة بيانات من 100 مقطع فيديو.
بشكل عام، يعد نموذج T2V تقدما كبيرا في مجال إنشاء النص إلى فيديو. لاسيما أنه قادر على إنشاء مقاطع فيديو عالية الجودة ومتماسكة زمنيًا. ولديه القدرة على الدمج في مجموعة متنوعة من التطبيقات.
اقرأ:
إيجابيات وسلبيات الذكاء الاصطناعي