منهجيه للتقاط الانتباه البصري المشترك باستخدام متتبع العين المتنقل

مرحباً، اسمي (برتراند شنايدر) وأنا أستاذ مساعد في كلية هارفارد للدراسات العليا في التعليم. في هذا الفيديو سوف تظهر لك كيف يمكننا استخدام متتبعات العين المحمولة لالتقاط بناء مركزي في العلوم الاجتماعية ، والاهتمام البصري المشترك. وقد درس علماء النفس الاهتمام البصري المشترك على نطاق واسع ووجدوا أن له علاقة وثيقة بنوعية التفاعلات بين أعضاء المجموعة.

اتضح أنه عندما يبني الناس أرضية مشتركة ويخلقون فهمًا مشتركًا للمهمة ، فإنهم يميلون إلى النظر في كثير من الأحيان إلى نفس المكان في نفس الوقت. تقليديا، درس الباحثون الاهتمام البصري المشترك نوعيا من خلال ترميز أشرطة الفيديو يدويا. سأريك كيف يمكننا استخدام متتبعات العين المتنقلة للحصول على قياس كمي لهذا البناء في إعدادات ذات موقع مشترك.

في هذا الفيديو سوف نستخدم نظارات Tobii Pro Two. هذه النظارات هي بتتبع العين يمكن ارتداؤها التي يمكن التقاط حركة العين في بيئات العالم الحقيقي. بالإضافة إلى الكاميرات المتخصصة على الإطار لتتبع حركات العين، تم تجهيز الجهاز أيضًا بكاميرا مشهد عالية الدقة وميكروفون، لذلك يمكن تصور سلوك النظرة في سياق المجال البصري لمرتديه.

لهذه النظارات يتم التقاط نظرة 50 مرة في الثانية الواحدة، ويمكن تدفق بث فيديو حية من النظارات إلى جهاز كمبيوتر إما لاسلكيا، أو من خلال كابل إيثرنت. النظارات لديها قيد واحد على الرغم من, كما أنها لن تعمل على النظارات الطبية العادية. الإجراء لإقامة العين تعقب بسيط نسبيا.

أولاً، سيطلب من المشاركين ارتداء نظارات تتبع العين لأنهم سيُطلب منهم ارتداء نظارات عادية. بناءً على سمات الوجه المميزة للمشاركين، قد تحتاج قطع الأنف ذات الارتفاعات المختلفة إلى استخدامها للحفاظ على جودة البيانات. بعد تشغيل العين تعقب، يجب على المشاركين مقطع وحدة جمع البيانات إلى الأشخاص الخاصة بهم للسماح لتحركات الجسم الجامحة.

يجب فتح وحدة تحكم Tobii Pro Glasses ويجب توجيه المشاركين إلى النظر في مركز علامة المعايرة التي تقدمها Tobii ، في حين يتم تمكين وظيفة المعايرة للبرنامج. بمجرد اكتمال المعايرة، يمكن بدء التسجيل من داخل البرنامج. بعد انتهاء جلسة التسجيل، قم بإنهاء التسجيل من برنامج Tobii قبل إرشاد المشارك لإزالة نظارات تتبع العين ووحدة جمع البيانات.

وبعد ذلك، إيقاف الوحدة. يمكن استخراج البيانات من خلال برنامج آخر، مختبر Tobii Pro، عن طريق إزالة بطاقة SD من وحدة جمع البيانات وإدخال البطاقة إلى الكمبيوتر. Tobii Pro Lab قادر على استيراد جميع جلسات التسجيل المخزنة في بطاقة SD في نفس الوقت.

ويمكن بعد ذلك معالجة الملفات داخل مختبر Tobii Pro لإنشاء مقاطع فيديو أو تصورات مختلفة أو إخراجها كقيم مفصولة بعلامة التبويب أو ملفات TSV لمزيد من التحليل. هنا يمكنك أن ترى بيانات تتبع العين الخام من دراسة أجريناها مؤخرا، حيث كان اثنان من المشاركين يتعلمون برمجة الروبوت. على كل جانب يمكنك أن ترى تيار الفيديو التي تم إنشاؤها بواسطة كل متتبع العين مع موقع نظرة المشارك.

كما ترون، من المستحيل معرفة ما إذا كانوا يبحثون في نفس المكان في نفس الوقت، لأن وجهة نظر كل مشارك مختلفة. بالإضافة إلى ذلك، قد يبدأ تسجيل البيانات في أوقات مختلفة. وهذا يعني أن البيانات تحتاج إلى تزامن زمني ومكاني.

سأريكم كيفية معالجة هاتين المسألتين في هذا الفيديو. أولاً، سأقوم بوصف إجراء لمزامنة البيانات مؤقتاً. بالنسبة للمشارك الأول، لديك عدد معين من إطارات الفيديو.

وبعضها قبل أو بعد المهمة التجريبية الفعلية. مثل الإطار الأول، حيث يقوم المجرب بمعايرة متعقب العين. وبالمثل، بالنسبة للمشاركين الآخرين لديك نفس النوع من البيانات.

لا يظهر هنا ولكن كل إطار من الفيديو يرتبط أيضًا بتنسيق س و ص الذي يمثل نظرة كل مشارك. لمزامنة البيانات، نعرض بإيجاز علامة فيدوسي على شاشة الكمبيوتر قبل وبعد المهمة التجريبية. باستخدام خوارزمية رؤية الكمبيوتر، يمكننا الكشف عن متى يتم عرض هذه العلامة لكل مشارك، مما يسمح لنا بتقليم البيانات ومحاذاتها.

لذلك، هذه هي إحدى طرق التعامل مع البيانات مزامنة القضايا. في الأجزاء التالية، ونحن نذهب للنظر في المسألة الثانية: كيفية مزامنة البيانات مكانيا. كما ذكر سابقا ، فإن البيانات تأتي من كل العين تعقب في شكل تغذية الفيديو المرتبطة موقع كل مشارك في نظرة ، هنا باللونين الأزرق والأخضر.

في حين أن إحداثيات س و ص قد تكون هي نفسها لكلا المشاركين ، وهذا لا يعني أنهم يبحثون في نفس المكان لأنهم ينظرون إلى الشاشة من منظورين مختلفين. إحدى الطرق لحل هذه المشكلة هي بناء صورة للإعداد التجريبي الذي سيكون بمثابة مرجع، وأين سنعيد رسم خريطة موقع حالة كل مشارك. وهذا يسمح لنا بالكشف عن كل إطار من شريط الفيديو تتبع العين، إذا كان المشاركون يبحثون في نفس المكان في نفس الوقت.

ولكن كيف يمكننا إعادة رسم هذه الإحداثيات في الصورة على اليسار؟ سوف نستخدم نفس خوارزمية الرؤية التعاونية التي سمحت لنا بمزامنة البيانات في وقت سابق. من خلال تطبيقه على كل إطار من تسجيلات الفيديو ، يمكننا الآن الكشف عن موقع العلامات الكانية من منظور المشاركين.

وهذا يسمح لنا لربط نفس علامات على الصورة المرجعية على اليسار. من خلال معرفة إحداثيات هذه المجموعة المشتركة من النقاط ، يمكننا استنتاج موقع نظرة كل شخص باستخدام عملية رياضية تعرف باسم homography. من خلال تطبيق هذا الإجراء على كل إطار، يمكننا إنشاء فيديو للتأكد من أن عملية تصوير الهوم قد نجحت.

على الجانب الأيمن يمكنك أن ترى تسجيل الفيديو لكل مشارك مع موقع نظرتهم باللونين الأزرق والأخضر. ترتبط نفس العلامات الوَقَيَّة بخط أبيض بين الصورة على اليسار وجانب رأي المشارك على الجانب الأيمن. يتم عرض النظرات التي أعيد تشكيلها على اليسار وتتحول إلى اللون الأحمر عندما يكون هناك بعض الاهتمام البصري المشترك.

يعد إنشاء هذا الفيديو خطوة مهمة نحو التأكد من أن البيانات نظيفة وأن عملية homography قد تم تنفيذها بشكل صحيح. بالإضافة إلى ذلك، هناك اثنين من المرئيات الأخرى التي يمكن أن تنتج إلى سلامة التحقق من البيانات. التصور الأول هو خريطة الحرارة.

لكل مشارك يمكننا رسم كل نقطة نظرة على صورة الإعداد التجريبي. وهذا يضمن أن علم الهومغرافي يعمل بشكل صحيح ويسمح لنا بتصنيف نقاط الحالة هذه في مجالات مختلفة من الاهتمامات. هنا ، على سبيل المثال ، يمكننا أن نرى أن معظم الوقت قد قضى في النظر إلى شاشة الكمبيوتر وقضى وقت قليل جدا في النظر في أوراق الغش.

ويسمى التصور الثاني الرسم البياني تكرار عبر. رسوم بيانية لتكرار عبر يسمح لنا لتصور العين تتبع البيانات لزوج من المشاركين. يتم عرض الوقت للمشارك الأول على المحور س، ويتم عرض الوقت للمشارك الثاني على المحور ص.

المربعات السوداء تعني أن كلا المشاركين يبحثان في نفس المكان ، ويمثل المربع الأبيض البيانات المفقودة ويمثل المربع الرمادي عندما يبحث المشاركون في مواقع مختلفة. المربعات السوداء على طول قطري يعني أنهم يبحثون في نفس المكان في نفس الوقت. المربعات السوداء قبالة قطري يعني أن المشاركين يبحثون في نفس المكان ولكن في أوقات مختلفة.

على اليسار، يمكنك أن ترى دياد مع مستويات عالية من الاهتمام البصري المشترك. في الوسط، دياد مع مستويات منخفضة من الاهتمام البصري المشترك. على الجانب الأيمن، مجموعة مع الكثير من البيانات المفقودة.

من خلال إجراء هذه الشيكات التعقل، يمكنك التأكد من أن قمت بمزامنة البيانات وإعادة توجيهها بشكل صحيح إلى صورة شائعة من الإعداد التجريبي. هذه الخطوات هي حاسمة ويجب أن يتم تنفيذها قبل إجراء أي تحليل. وأخيراً، هناك معلمتان يجب أن يتم اختيارهما قبل حساب مقياس الاهتمام البصري المشترك.

المعلمة الأولى هي نافذة الوقت التي يمكن للمشاركين فيها النظر إلى نفس الموقع. وقد أثبتت الأعمال السابقة التي قام بها ريتشاردسون ودايل أنه يمكن أن يستغرق الأمر ما يصل إلى ثانيتين للمشاركين لفك الارتباط عما يفعلونه للانتباه إلى ما يفعله شريكهم. وهكذا، قررنا أن هناك اهتمام بصري مشترك إذا كان اثنان من المشاركين قد نظرت في نفس المكان داخل زائد ونافذة ناقص الثاني.

المعلمة الثانية هي المسافة الدنيا بين نقطتي نظرة بالنسبة لهم للتأهل كـ الاهتمام البصري المشترك. وهذه المسافة تعتمد على السياق، ويجب أن يحددها الباحثون تبعاً للمهمة التي يدارون وأسئلة البحث التي يطرحونها. بالنسبة لبعض المهام، قد تكون المسافة قصيرة.

هنا، على سبيل المثال، استخدمنا 100 بكسل. بالنسبة لمهام أخرى قد تكون هذه المسافة أكبر. المقبل ، وانا ذاهب الى تقديم بعض النتائج التي وجدت باستخدام هذه المنهجية.

بعد الحصول على تقدير لمقدار الاهتمام البصري المشترك في المجموعة، يمكنك ربط هذا المقياس مع متغيرات أخرى ذات أهمية. على سبيل المثال، في العمل قمنا بربط هذا المقياس مع نظام التصنيف الذي تم تطويره إلى علوم التعلم التي تلتقط جودة التعاون بين المجموعات. لكل مجموعة قمنا بتعيين نقاط على تسعة الأبعاد المعروضة هنا.

على سبيل المثال، مدى استدامة الناس في التفاهم المتبادل أو مدى سهولة توصلهم إلى توافق في الآراء. هذه الدرجات يجب أن تحصل على موثوقية مقبولة بين مع حصة أخرى. وأخيراً، يمكننا أيضًا تجميع هذه الدرجات في مقياس عام واحد يُقرب جودة التعاون لكل مجموعة.

والنتيجة التي تم العثور عليها في عملنا وكذلك دراسات أخرى هي أن الاهتمام البصري المشترك يرتبط بشكل كبير بجودة التعاون ، كما يقاس من خلال مخطط التصنيف المقدم في وقت سابق. تميل المجموعات التي يتم تصنيفها بشكل كبير باستخدام نظام الترميز هذا إلى أن يكون لها اهتمام مرئي مشترك أكثر من المجموعات التي تلقت درجات منخفضة. وهذا يدل على أن التفاعلات الإنتاجية غالبا ما تكون مرتبطة مع المزيد من الاهتمام البصري المشترك.

على الشريحة القادمة أنا ذاهب لتظهر لك نتيجة أخرى أن يبني على هذا الاستنتاج. لذا، ميزة واحدة من وجود غرامة العين تتبع البيانات هو أننا يمكن استخراج مقاييس أخرى من الاهتمام البصري المشترك. على سبيل المثال، يمكننا حساب من الذي بدأ واستجاب لعرض الاهتمام البصري المشترك.

على وجه الخصوص، على المحور س من هذا الرسم البياني درجة الصفر يعني توزيع متساو لهذه السلوكيات ودرجة واحدة يعني أن شخص واحد كان دائما الاستجابة أو بدء لحظات من الاهتمام البصري الانضمام. في هذه الدراسة وجدنا ارتباط عكسي مع مكاسب التعلم التي تظهر على المحور y كما تقاس قبل وما بعد الاختبارات. وكانت المجموعات التي كان فيها نفس الشخص يبدأ أو يستجيب باستمرار للحظات الاهتمام البصري المشترك أقل عرضة للتعلم وكانت المجموعات التي تم فيها تقاسم هذه المسؤولية بالتساوي أكثر عرضة لتحقيق درجات أعلى في اختبارات ما بعد الاختبار عند التحكم في الدرجات في الاختبار المسبق.

في هذا الفيديو لقد قدمت المنهجية التي تساعد الباحثين مزامنة البيانات المتنقلة تتبع العين على حد سواء زمانيا ومكانيا. وتشير النتائج إلى أن البيانات المزدوجة لتتبع العين يمكن أن توفر مؤشرات للتعاون من خلال قياس القياسات من الاهتمام البصري المشترك. بالإضافة إلى ذلك، قدمت نتائج تظهر أننا يمكن أن نتجاوز تدابير بسيطة من الاهتمام المشترك، على سبيل المثال، من خلال النظر في من بدأ أو استجاب لحلقة من الاهتمام البصري المشترك.

ووجدنا أن هذا التدبير مرتبط بتدابير أخرى للنتائج، مثل المكاسب المكتسبة في التعلم. ولن يكون من الممكن حساب هذا النوع من التدابير بدون بيانات تتبع العين. باختصار، وجدنا أن المنهجية المعروضة في هذا الفيديو يمكن أن تساعد الباحثين على الحصول على رؤى جديدة في العمليات التعاونية.

شكرا جزيلا لمشاهدة هذا الفيديو، ولا تتردد في الرجوع إلى ورقة لمزيد من المعلومات.