تقنية جديدة تحوّل حركة الشفاه إلى نصوص مكتوبة

طوّر باحثون في كوريا الجنوبية تقنية جديدة للذكاء الاصطناعي قادرة على قراءة حركة الشفاه وتحويلها إلى نصوص مكتوبة، في خطوة قد تساعد الصم وضعاف السمع على متابعة المحادثات، وتتيح فهم الكلام في الأماكن التي يصعب فيها سماع الأصوات بسبب الضوضاء. وأوضح باحثون من المعهد الكوري المتقدم للعلوم والتكنولوجيا (KAIST) أن التقنية الجديدة تحسّن دقة التعرف البصري على الكلام (Visual Speech Recognition)، وهي عملية تحليل حركات الشفاه لاستخلاص الكلمات دون الحاجة إلى الصوت، ونُشرت النتائج، الجمعة، على منصة «arXiv» للأبحاث الأولية. وتعتمد التقنية على أسلوب مختلف في تحليل الجمل؛ إذ تبدأ بتحديد الكلمات التي يمكن تمييز حركات الشفاه المرتبطة بها بوضوح، ثم تستخدمها لفهم الكلمات الأخرى التي يصعب التعرف عليها، بدلاً من تحليل الكلمات بالتتابع من بداية الجملة إلى نهايتها. ويهدف هذا النهج إلى معالجة إحدى أبرز صعوبات قراءة الشفاه، وهي تشابه حركات الفم عند نطق بعض الأصوات. ففي اللغة الإنجليزية، على سبيل المثال، يصعب التمييز بصرياً بين الأصوات (/p/ و/b/ و/m/) بسبب تقارب حركات الشفاه المصاحبة لها. وفي الأنظمة التقليدية، قد يؤدي التعرف الخاطئ على كلمة في بداية الجملة إلى التأثير في تفسير الكلمات اللاحقة. أما النظام الجديد، فيستفيد من الكلمات الواضحة في مختلف أجزاء الجملة، سواء جاءت قبل الكلمة الغامضة أو بعدها، للوصول إلى التفسير الأكثر ترجيحاً. ولتحقيق ذلك، استخدم الباحثون نموذجاً لغوياً كبيراً يستطيع استكمال الكلمات أو الأجزاء الناقصة تدريجياً بالاستعانة بالسياق المحيط بها، بدلاً من توليد الجملة بترتيب ثابت. ودُرّب النموذج على مرحلتين؛ ركزت الأولى على تعليمه الربط بين حركات الشفاه في مقاطع الفيديو والكلمات المقابلة لها، في حين استهدفت الثانية تمكينه من تقدير أطوال الجمل. وعند تحليل الفيديو، ينشئ النظام عدة جمل محتملة بأطوال مختلفة، ثم يقارن بينها وفقاً لمدى ملاءمة طول كل جملة ومستوى ثقته في الكلمات التي تعرف عليها، قبل اختيار النتيجة الأكثر موثوقية. واستخدم الباحثون مجموعة بيانات تضم 433 ساعة من مقاطع الفيديو المصحوبة بنصوص للكلام الظاهر فيها، لتدريب النموذج. وحقق النظام معدل خطأ في الكلمات بلغ 19.4 في المائة، وهو الأدنى بين الطرق البحثية التي تعتمد على هذه المجموعة وحدها في التدريب باستخدام بيانات مصنفة. ويقيس هذا المعدل نسبة الكلمات التي يتعرف عليها النظام بصورة خاطئة، أو يحذفها، أو يضيفها مقارنة بالنص الصحيح، وكلما انخفضت النسبة دل ذلك على تحسن الأداء. ووفق الباحثين، فإن التقنية قد تتيح تطوير أدوات تساعد الصم وضعاف السمع على متابعة المحادثات بتحويل حركة الشفاه إلى نصوص مكتوبة، فضلاً عن استخدامها في المواقع الصناعية التي تعوق فيها أصوات الآلات والمعدات التواصل بين العاملين. ويخطط الفريق لتقليل حجم النموذج والقدرة الحاسوبية اللازمة لتشغيله، تمهيداً لاستخدامه في الأجهزة القابلة للارتداء والروبوتات، مع إمكانية تشغيله في الوقت الفعلي دون اتصال بالإنترنت.