تستعد الهواتف الذكية لدخول مرحلة جديدة في مجال إتاحة التكنولوجيا للأشخاص الصم وضعاف السمع. بعدما كشفت «ديب مايند» عن نموذج ذكاء اصطناعي جديد يستطيع تحويل لغة الإشارة إلى نص مكتوب.
وذلك في خطوة قد تجعل التواصل مع الهاتف أكثر سهولة وطبيعية.
بينما تأتي التقنية الجديدة تحت اسم SL2T، وتم دمجها في تطبيقي Gboard وLive Transcribe. بما يفتح المجال أمام استخدام لغة الإشارة في كتابة الرسائل، والبحث عبر الإنترنت، والتفاعل مع مساعد «جيميناي»، بدلًا من الاعتماد في كل مرة على الكتابة اليدوية.
لغة الإشارة تتحول مباشرة إلى كلمات
تعتمد فكرة SL2T على تفسير حركات الإشارة وتحويلها إلى نص باللغة الإنجليزية. بما يسمح للمستخدم بالتعامل مع الهاتف باستخدام الإشارات بصورة مباشرة.
كما تستهدف التقنية الأشخاص الذين يفضلون استخدام لغة الإشارة في التواصل. خاصة في المواقف التي قد تكون فيها الكتابة أقل سرعة أو طبيعية.
فيما لا تقتصر الفكرة على إرسال رسالة نصية. إذ يمكن أن تمتد إلى استخدام الإشارات في تنفيذ عمليات البحث أو التفاعل مع تطبيقات الهاتف والمساعدات الذكية.
أكثر من 100 ألف ساعة لتدريب النموذج
تقول «ديب مايند» إن تطوير النموذج استند إلى أكثر من 100 ألف ساعة من بيانات لغة الإشارة متعددة اللغات. في محاولة لتدريب الذكاء الاصطناعي على التنوع الكبير الموجود في لغات الإشارة.
كما تشكل لغة الإشارة الأمريكية ASL نحو ربع بيانات التدريب. ولذلك يبدأ النموذج في صورته الحالية بتحويل لغة الإشارة الأمريكية إلى اللغة الإنجليزية.
وتشير الشركة إلى أن اختلاف مهارات الأشخاص الصم في لغة الإشارة والقراءة والكتابة يجعل توفير أكثر من وسيلة للتواصل أمرًا مهمًا، بدلًا من الاعتماد على طريقة واحدة تناسب الجميع.
لماذا لا يرسل الهاتف الفيديو إلى الخوادم؟
من أبرز الجوانب التقنية في SL2T طريقة التعامل مع بيانات المستخدم.
وبدلًا من إرسال الفيديو الخام الذي يظهر فيه الشخص وهو يستخدم لغة الإشارة إلى خوادم «جوجل»، يجري أولًا استخدام نموذج يعمل على الجهاز لتحويل الصورة إلى مجموعة من الإحداثيات التي تمثل البنية والحركة.
بعد ذلك تُرسل هذه البيانات إلى خوادم «جوجل»، حيث يتولى نموذج SL2T تحويلها إلى نص.
وتقول الشركة إن هذا الأسلوب يمكن أن يوفر مستوى أفضل من الخصوصية. لأنه لا يتطلب إرسال التسجيل المرئي نفسه إلى الخوادم.
ذكاء اصطناعي يتجاوز الطريقة التقليدية للترجمة
تختلف التقنية الجديدة أيضًا عن بعض أنظمة ترجمة لغة الإشارة السابقة في طريقة معالجة الإشارات.
وبعض الأنظمة تعتمد على مرحلة وسيطة تسمى Glosses، وهي تمثيلات للكلمات أو الإشارات، قبل تحويلها إلى لغة مكتوبة.
لكن «ديب مايند» ترى أن هذه الطريقة لا تستطيع التعبير بشكل كامل عن طبيعة لغات الإشارة، التي تتضمن عناصر معقدة لا تقتصر على حركة اليدين، مثل تعبيرات الوجه والإشارات غير اليدوية والعلاقات المكانية.
أما SL2T فيحاول الانتقال مباشرة من الإحداثيات التي تمثل الحركة إلى النص. بما يقلل الاعتماد على المفردات الوسيطة.
من «بيكسل» إلى «جيميناي».. ماذا يمكن أن يفعل المستخدم؟
تكمن أهمية دمج التقنية في تطبيقات جوجل في أنها قد تتجاوز مجرد الترجمة.
وفي حالة دعمها على الأجهزة المتوافقة، يمكن استخدام الإشارات في مهام يومية مثل كتابة الرسائل، وإجراء عمليات البحث، والتفاعل مع التطبيقات، والتواصل مع المساعد الذكي جيميناي.
وبذلك يصبح الهاتف وسيطًا بين لغة الإشارة واللغة المكتوبة، بدلًا من إجبار المستخدم على الانتقال إلى لوحة المفاتيح في كل مرة يريد فيها إدخال معلومة.
لماذا تبدأ «جوجل» بلغة إشارة واحدة؟
رغم استخدام بيانات متعددة اللغات خلال التدريب، فإن النموذج يبدأ بدعم لغة الإشارة الأمريكية فقط مع تحويلها إلى الإنجليزية.
ويرتبط ذلك بتعقيد لغات الإشارة واختلاف بنيتها من لغة إلى أخرى. إذ لا توجد لغة إشارة عالمية واحدة يستخدمها جميع الصم حول العالم.