ذكاء اصطناعي يقرأ الشفاه ويحوّل الكلام إلى نص دون صوت

ديدان الذكاء الاصطناعي

تخيل أن تتمكن من فهم حديث شخص يقف أمامك في مكان مزدحم، رغم ارتفاع الموسيقى وأصوات المحيطين به، ودون أن تسمع صوته على الإطلاق. هذا ما يسعى الذكاء الاصطناعي إلى تحقيقه من خلال نظام جديد يستطيع قراءة حركة الشفاه وتحويل الكلام إلى نص مكتوب اعتمادًا على الصورة فقط.

كما طور باحثون في المعهد الكوري المتقدم للعلوم والتكنولوجيا (KAIST) نظامًا يحمل اسم DLLM-VSR. يعتمد على تحليل حركات الشفاه للتعرف على الكلمات، حتى عندما يصعب التمييز بينها بصريًا. مستفيدًا من نموذج لغوي متطور يساعده على استنتاج الأجزاء غير الواضحة من الكلام.

ووفقًا للإعلان الرسمي الصادر عن المعهد، سجل النظام معدل خطأ في التعرف على الكلمات بلغ 19.4%. محققًا رقمًا قياسيًا جديدًا بين الأنظمة التي دربت باستخدام مجموعة البيانات المصنفة نفسها. بحسب تقرير نشره موقع «Digital Trends» المتخصص في أخبار التكنولوجيا.

كيف يتعلم الذكاء الاصطناعي قراءة الشفاه؟

قد تبدو قراءة الشفاه عملية بسيطة، لكنها في الواقع تمثل تحديًا كبيرًا حتى بالنسبة إلى أنظمة الذكاء الاصطناعي. فهناك أصوات تنتج حركات متشابهة للغاية للشفاه. مثل الحروف الإنجليزية P وB وM. ما يجعل التمييز بينها صعبًا دون الاستماع إلى الصوت.

كما تعتمد أنظمة التعرف التقليدية على الكلام عادةً على تحليل الكلمات بالتتابع، من اليسار إلى اليمين. لكن هذه الطريقة قد تؤدي إلى سلسلة من الأخطاء. إذ إن عدم التعرف على كلمة في بداية الجملة يمكن أن يؤثر في فهم الكلمات التي تأتي بعدها.

وللتغلب على هذه المشكلة، طور الباحثون طريقة مختلفة تعتمد على نموذج لغوي كبير قائم على تقنية الانتشار (Diffusion Large Language Model). ويعرف اختصارًا باسم DLLM.

بدلًا من محاولة قراءة الكلمات واحدة تلو الأخرى، يبدأ النظام بتحديد الأجزاء التي يستطيع التعرف عليها بدرجة ثقة أكبر. ثم يستخدمها لفهم بقية الجملة واستنتاج الكلمات غير الواضحة تدريجيًا.

يعتمد النظام أيضًا على الاستفادة من سياق الجملة بالكامل. سواء الكلمات التي سبقت الجزء غير الواضح أو التي جاءت بعده. ما يساعده على الوصول إلى تفسير أكثر ترجيحًا لحركة الشفاه.

ولا يتوقف الأمر عند ذلك، إذ يقدّر النظام عدة أطوال محتملة للجملة وفقًا لمدة مقطع الفيديو. ثم ينشئ نصوصًا مختلفة لكل احتمال، ويختار في النهاية النتيجة التي يرى أنها الأقرب إلى الكلام الفعلي.

دقة تصل إلى 80.6% في التعرف على الكلمات

كما أظهرت نتائج الاختبارات أن نظام DLLM-VSR سجل معدل خطأ بلغ 19.4% عند اختباره على معيار LRS3. اعتمادًا على مجموعة بيانات تضم 433 ساعة من مقاطع الفيديو المصنفة.

الرابط المختصر :