Name: evaluation of a smartphone-based human activity recognition system in a daily living environment
Uploaded: 2015-12-11T13:00:00.000+00:00
Duration: 6 min 49 s
Description: Watch this Scientific Journal Video about Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment at JoVE.com

المؤلفون تعترف ايفان Beisheim، نيكول كابيلا، أندرو هربرت-كوبلي لتقديم المساعدة التقنية وجمع البيانات. وكان في استقبال تمويل المشروع من العلوم الطبيعية والهندسة مجلس البحوث كندا (NSERC) وبلاك بيري المحدودة، بما في ذلك الهواتف الذكية المستخدمة في الدراسة.

وقد وافق هذا البروتوكول من قبل البحوث الأخلاق مجلس أوتاوا شبكة العلوم الصحية. 1. إعداد <ol style=";text-align:right;direction:rtl"><li style=";text-align:right;direction:rtl"> تزويد المشاركين مع الخطوط العريضة للبحوث، والإجابة على أي أسئلة، والحصول على الموافقة المسبقة. خصائص مشارك سجل (على سبيل المثال، العمر، الجنس، الطول، الوزن، محيط الخصر، وارتفاع الساق من أعلى العمود الفقري الأمامي الحرقفي إلى الكعب الإنسي)، رمز الهوية، والتاريخ على ورقة البيانات. ضمان أن يتم تعيين الهاتف الذكي الثاني الذي يتم استخدامه لالتقاط الفيديو للا يقل عن 30 لقطة في معدل التقاط الثاني. </li><li style=";text-align:right;direction:rtl"> نعلق آمن الحافظة الهاتف لالأمامي الأيمن حزام الخصر بانت أو المشارك. بدء تطبيق الهواتف الذكية التي سيتم استخدامها لجمع بيانات الاستشعار (أي تسجيل البيانات أو تطبيق WMMS) على التنقل قياس الذكي والتأكد من أن التطبيق يعمل بشكل مناسب. وضع الهاتف الذكي في الحافظة، مع الخلفي من الجهاز (كاليفورنيا الخلفيةميرا) التي تواجه الخارج. </li><li style=";text-align:right;direction:rtl"> بدء تسجيل الفيديو الرقمي على الهواتف الذكية الثاني. عدم الكشف عن هويته، تسجيل الفيديو المقارنة دون أن تظهر وجه الشخص، ولكن تأكد لتسجيل جميع التحولات النشاط. الهاتف يمكن أن يكون يده. </li></ol> 2. آخر حلبة <ol style=";text-align:right;direction:rtl"><li style=";text-align:right;direction:rtl"> اتبع مشارك والفيديو أفعالهم، على الهاتف الذكي الثاني، في حين أنها تنفيذ الإجراءات التالية، التي يتحدث بها المحقق: <ol style=";text-align:right;direction:rtl"><li style=";text-align:right;direction:rtl"> من وضع الوقوف، هز الهاتف الذكي للإشارة إلى بدء المحاكمة. </li><li style=";text-align:right;direction:rtl"> الاستمرار في الوقوف لمدة 10 ثانية على الأقل. ويمكن استخدام هذه المرحلة الوقوف لتوجيه الهاتف المعايرة 14. </li><li style=";text-align:right;direction:rtl"> المشي على كرسي قريب والجلوس. </li><li style=";text-align:right;direction:rtl"> الوقوف والمشي 60 مترا إلى المصعد. </li><li style=";text-align:right;direction:rtl"> الوقوف والانتظار لالمصعد ومن ثم السير في المصعد. </li><li style=";text-align:right;direction:rtl"> خذ المصعد إلى الطابق الثاني. </li><li style=";text-align:right;direction:rtl"> تحويل والسير في بيئة المنزل. </li><li style=";text-align:right;direction:rtl"> المشي إلى الحمام والاشتراكيةmulate تفريش الأسنان. </li><li style=";text-align:right;direction:rtl"> محاكاة تمشيط الشعر. </li><li style=";text-align:right;direction:rtl"> محاكاة غسل اليدين. </li><li style=";text-align:right;direction:rtl"> أيدي الجافة باستخدام منشفة. </li><li style=";text-align:right;direction:rtl"> المشي إلى المطبخ. </li><li style=";text-align:right;direction:rtl"> تأخذ أطباق من الرف ووضعها على الطاولة. </li><li style=";text-align:right;direction:rtl"> ملء غلاية مع الماء من بالوعة المطبخ. </li><li style=";text-align:right;direction:rtl"> وضع غلاية على عنصر موقد. </li><li style=";text-align:right;direction:rtl"> وضع الخبز في محمصة. </li><li style=";text-align:right;direction:rtl"> المشي إلى غرفة الطعام. </li><li style=";text-align:right;direction:rtl"> الجلوس على طاولة غرفة الطعام. </li><li style=";text-align:right;direction:rtl"> محاكاة تناول وجبة على الطاولة. </li><li style=";text-align:right;direction:rtl"> الوقوف والمشي إلى بالوعة المطبخ. </li><li style=";text-align:right;direction:rtl"> شطف الأطباق ووضعها في رف. </li><li style=";text-align:right;direction:rtl"> سيرا على الأقدام من المطبخ إلى المصعد. </li><li style=";text-align:right;direction:rtl"> الوقوف والانتظار لالمصعد ومن ثم السير في المصعد. </li><li style=";text-align:right;direction:rtl"> خذ المصعد إلى الطابق الأول. </li><li style=";text-align:right;direction:rtl"> المشي 50 مترا إلى الدرج. </li><li style=";text-align:right;direction:rtl"> فتح الباب وأدخل الدرج. </li><li style=";text-align:right;direction:rtl"> المشي وصعود الدرج (13 خطوة، نحو الهبوط، 13 خطوة). </li><li style=";text-align:right;direction:rtl"> فتح باب الدرج في الرواق. </li><li style=";text-align:right;direction:rtl"> يمينا والسير في القاعة لمدة 15 متر. </li><li style=";text-align:right;direction:rtl"> بدوره حولها والسير 15 مترا إلى الدرج. </li><li style=";text-align:right;direction:rtl"> فتح الباب وأدخل الدرج. </li><li style=";text-align:right;direction:rtl"> المشي نزولا على الدرج (13 خطوة، نحو الهبوط، 13 خطوة). </li><li style=";text-align:right;direction:rtl"> الخروج من الدرج والمشي في الغرفة. </li><li style=";text-align:right;direction:rtl"> الاستلقاء على السرير. </li><li style=";text-align:right;direction:rtl"> الحصول على ما يصل والمشي 10 مترا على منحدر. </li><li style=";text-align:right;direction:rtl"> المشي التعلية، يستدير، ثم إلى أسفل المنحدر (20 مترا). </li><li style=";text-align:right;direction:rtl"> مواصلة السير في القاعة وفتح الباب أمام الخارج. </li><li style=";text-align:right;direction:rtl"> المشي 100 متر على الطريق المعبدة. </li><li style=";text-align:right;direction:rtl"> بدوره حولها والسير مرة أخرى إلى الغرفة. </li><li style=";text-align:right;direction:rtl"> السير في غرفة والوقوف في نقطة الانطلاق. </li><li style=";text-align:right;direction:rtl"> مواصلة الوقوف، ثم هز الهاتف الذكي للإشارة إلى نهاية المحاكمة. </li></ol></li></ol> 3. محاكمة الانتهاء <ol style=";text-align:right;direction:rtl"><li style=";text-align:right;direction:rtl"> وقف تسجيل الفيديو الذكي ويطلب من المشاركين لإزالة وإعادة الهاتف الذكي والحافظة. وقف تسجيل البيانات أو تطبيق WMMS على SMArtphone. نسخ ملفات البيانات الحركة المكتسبة وملف فيديو من كل من الهواتف إلى جهاز كمبيوتر لمرحلة ما بعد المعالجة. </li></ol> 4. ما بعد المعالجة <ol style=";text-align:right;direction:rtl"><li style=";text-align:right;direction:rtl"> مزامنة التوقيت بين الفيديو وبيانات الاستشعار الخام عن طريق تحديد الوقت الذي بدأ العمل هزة. هذه الحركة تهز يناظر إشارة التسارع والفيديو إطار واضح. تحقق من وجود خطأ تزامن ذلك بطرح الوقت هزة نهاية من وقت بداية اهتزاز، عن مصادر بيانات الاستشعار والفيديو. وينبغي أن تكون فروق التوقيت مماثل بين مجموعتين من البيانات. </li><li style=";text-align:right;direction:rtl"> تحديد التغيير من الدولة الأوقات الفعلية من الفيديو الذهب القياسية من خلال تسجيل الفارق الزمني من وقت بداية اهتزاز في إطار الفيديو في الانتقال بين الأنشطة. استخدام برامج تحرير الفيديو للحصول على توقيت في حدود 0.033 ثانية (أي 30 لقطة في الفيديو معدل الثاني). استخدام البرمجيات WMMS لتوليد تغيرات لدولة قابلة للمقارنة من بيانات الاستشعار. </li><li style=";text-align:right;direction:rtl"> توليد مجموعات البيانات اثنين، واحدمع الأنشطة الحقيقية والثانية مع الأنشطة المتوقعة، التي وصفها النشاط لكل إطار الفيديو (استنادا إلى تغيير توقيت دولة) ومن ثم حساب النشاط المتوقع في كل مرة إطار الفيديو من إخراج WMMS. لتقييم الأداء WMMS، وحساب الإيجابيات الحقيقية والسلبيات كاذبة والسلبيات الحقيقية، المغلوطة بين النشاط معيار الذهب وتوقع WMMS النشاط. استخدم هذه المعلمات لحساب التدابير نتائج الحساسية والنوعية، وF-النتيجة. ملاحظة: إعداد التسامح من 3 نوافذ بيانات على جانبي النافذة التي يجري تحليلها يمكن أن تستخدم لتحديد التغيير للللدولة النتائج، والنوافذ البيانات 2 لنتائج التصنيف. على سبيل المثال، استخدمت منذ 1 نوافذ بيانات ثانية لWMMS في هذه الدراسة، 3 ثانية قبل وبعد الإطار الحالي تم فحص بحيث يتم تجاهل تغييرات متتالية في هذا التسامح. هو أن التغييرات الخارجية التي تحدث في أقل من 3 ثوان يمكن تجاهلها النظر عن هوما الإجماليسينظر تحليل حركة ن لأن هذه الدول عابرة. </li></ol>

<ol>
	<li>Lara, O. D., Labrador, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Survey+on+Human+Activity+Recognition+using+Wearable+Sensors.">A Survey on Human Activity Recognition using Wearable Sensors.</a> IEEE Communications Surveys Tutorials. 15 (3), 1192-1209 (2013).</li><li>Foerster, F., Smeja, M., Fahrenberg, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Detection+of+posture+and+motion+by+accelerometry:+a+validation+study+in+ambulatory+monitoring.">Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring.</a> Computers in Human Behavior. 15 (5), 571-583 (1999).</li><li>Elsmore, T. F., Naitoh, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Monitoring Activity With a Wrist-Worn Actigraph: Effects of Amplifier Passband and threshold Variations. , (1993).</li><li>Kripke, D. F., Webster, J. B., Mullaney, D. J., Messin, S., Mason, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Measuring sleep by wrist actigraph. , (1981).</li><li>Lockhart, J. W., Pulickal, T., Weiss, G. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Applications+of+mobile+activity+recognition.">Applications of mobile activity recognition.</a> Proceedings of the 2012 ACM Conference on Ubiquitous Computing. , 1054-1058 (2012).</li><li>Incel, O. D., Kose, M., Ersoy, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Review+and+Taxonomy+of+Activity+Recognition+on+Mobile+Phones.">A Review and Taxonomy of Activity Recognition on Mobile Phones.</a> BioNanoScience. 3 (2), 145-171 (2013).</li><li>Yang, C. C., Hsu, Y. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Review+of+Accelerometry-Based+Wearable+Motion+Detectors+for+Physical+Activity+Monitoring.">A Review of Accelerometry-Based Wearable Motion Detectors for Physical Activity Monitoring.</a> Sensors. 10 (8), 7772-7788 (2010).</li><li>He, Y., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Physical+Activity+Recognition+Utilizing+the+Built-In+Kinematic+Sensors+of+a+Smartphone.">Physical Activity Recognition Utilizing the Built-In Kinematic Sensors of a Smartphone.</a> International Journal of Distributed Sensor Networks. 2013, (2013).</li><li>Vo, Q. V., Hoang, M. T., Choi, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Personalization+in+Mobile+Activity+Recognition+System+using+K-medoids+Clustering+Algorithm.">Personalization in Mobile Activity Recognition System using K-medoids Clustering Algorithm.</a> International Journal of Distributed Sensor Networks. 2013, (2013).</li><li>Dernbach, S., Das, B., Krishnan, N. C., Thomas, B. L., Cook, D. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Simple+and+Complex+Activity+Recognition+through+Smart+Phones.">Simple and Complex Activity Recognition through Smart Phones.</a> , 214-221 (2012).</li><li>Hache, G., Lemaire, E. D., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Mobility+change-of-state+detection+using+a+smartphone-based+approach.">Mobility change-of-state detection using a smartphone-based approach.</a> IEEE International Workshop on Medical Measurements and Applications Proceedings (MeMeA). , 43-46 (2010).</li><li>Wu, H. H., Lemaire, E. D., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Change-of-state+determination+to+recognize+mobility+activities+using+a+BlackBerry+smartphone.">Change-of-state determination to recognize mobility activities using a BlackBerry smartphone.</a> , 5252-5255 (2011).</li><li>Wu, H., Lemaire, E. D., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Activity+Change-of-state+Identification+Using+a+Blackberry+Smartphone.">Activity Change-of-state Identification Using a Blackberry Smartphone.</a> Journal of Medical and Biological Engineering. 32 (4), 265-271 (2012).</li><li>Tundo, M. D., Lemaire, E., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Correcting+Smartphone+orientation+for+accelerometer-based+analysis.">Correcting Smartphone orientation for accelerometer-based analysis.</a> IEEE International Symposium on Medical Measurements and Applications Proceedings (MeMeA). , 58-62 (2013).</li><li>Tundo, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Development of a human activity recognition system using inertial measurement unit sensors on a smartphone. , (2014).</li></ol>

The authors declare that they have no competing financial interests.

تلقى الاعتراف النشاط البشري مع نظام مراقبة الحركة يمكن ارتداؤها المزيد من الاهتمام في السنوات الأخيرة بسبب التطورات التقنية في مجال الحوسبة والهواتف الذكية يمكن ارتداؤها والاحتياجات المنتظمة لمقاييس النتائج الكمية التي تساعد في عملية صنع القرار السريري وتقييم ال...

أصبح الاستشعار في كل مكان ومجال البحث إشراك بسبب قوية على نحو متزايد، صغيرة، منخفضة التكلفة الحوسبة والاستشعار عن المعدات 1. مراقبة التنقل باستخدام أجهزة استشعار يمكن ارتداؤها قد ولدت قدرا كبيرا من الاهتمام منذ الالكترونيات الدقيقة على مستوى المستهلك هي قادرة على اكتشاف خصائص الحركة مع دقة عالية 1. الاعتراف النشاط البشري (هار) باستخدام أجهزة استشعار يمكن ارتداؤها هي منطقة الأخيرة من البحوث، مع دراسات أولية أجريت في 1980s و 1990s 2-4. الهواتف الذكية الحديثة تحتوي على أجهزة استشعار اللازمة والقدرة على حساب الوقت الحقيقي للاعتراف النشاط التنقل. يسمح تحليل في الوقت الحقيقي على الجهاز تصنيف النشاط وتحميل البيانات دون تدخل المستخدم أو محقق. الهاتف الذكي مع برامج التحليل التنقل يمكن أن توفر تتبع اللياقة البدنية، والمراقبة الصحية، وتقع الكشف أو مسكنه أو أتمتة العمل، والتمارين ذاتية الإدارةبرامج البريد 5. يمكن اعتبار الهواتف الذكية منصات قياس بالقصور الذاتي للكشف عن أنشطة الجوالة وأنماط المتنقلة في البشر، وذلك باستخدام ميزات إشارة الرياضية ولدت تحسب مع مخرجات الاستشعار على متن 6. وتشمل السمات المشتركة أساليب الجيل الكشف عن مجريات الأمور، والوقت المجال، تردد المجال، والمويجات النهج القائم على تحليل 7. وقد أظهرت أنظمة الهاتف الذكي HAR الحديثة الدقة التنبؤ عالية عندما كشف الأنشطة المحددة 1،5،6،7. هذه الدراسات تختلف في منهجية التقييم وكذلك دقة لأن معظم الدراسات الخاصة بها مجموعة التدريب والإعداد البيئي، وبروتوكول جمع البيانات. الحساسية والنوعية والدقة، أذكر، والدقة، وF-نتيجة تستخدم عادة لوصف نوعية التنبؤ. ذلك ما لم تتوفر معلومات حول طرق ل &quot;النشاط المتزامن&quot; الاعتراف وتقييم القدرة على اكتشاف التغيرات النشاط في الوقت الحقيقي1، لأنظمة العمل الإنساني التي تحاول تصنيف العديد من الأنشطة. أساليب التقييم لتقرير العمل الإنساني دقة النظام تختلف بشكل كبير بين الدراسات. بغض النظر عن خوارزمية تصنيف أو ميزات تطبيقها، وصفا للأساليب تقييم موحدة الذهب غامضة بالنسبة لمعظم البحوث تقرير العمل الإنساني. الاعتراف النشاط في بيئة الحياة اليومية لم يتم بحثها على نطاق واسع. يتم تقييم معظم أنظمة التعرف على النشاط القائم على الهواتف الذكية في الطريقة التي تسيطر عليها، مما أدى إلى بروتوكول التقييم التي قد يكون من المفيد أن الخوارزمية بدلا من الواقعي أن بيئة في العالم الحقيقي. ضمن مخطط تقييمها، المشاركين غالبا ما تؤدي فقط الإجراءات تهدف للتنبؤ، بدلا من تطبيق مجموعة واسعة من الأنشطة واقعية للمشارك لأداء على التوالي، ومحاكاة الأحداث من واقع الحياة. يدرس بعض HAR الهاتف الذكي أنشطة مماثلة 8،9 مجموعة معا، مثل السلالم والمشيولكن استبعاد أنشطة أخرى من مجموعة البيانات. ثم يتم تحديد دقة التنبؤ بمدى حددت خوارزمية الأنشطة المستهدفة. Dernbach وآخرون. 9 وكان المشاركون إرسال النشاط كانوا على وشك تنفيذ قبل الانتقال، انقطاع مستمر التغيير للللدولة التحولات. يجب تقييم نظام HAR تقييم الخوارزمية في حين يقوم المشارك الإجراءات الطبيعية في بيئة المعيشة اليومية. ومن شأن ذلك أن يسمح بتقييم واقع الحياة أن يعيد استخدام اليومي من التطبيق. وتشمل دارة واقعية العديد من التغيرات للدولة فضلا عن مزيج من الإجراءات لا متوقعة من قبل النظام. يمكن للمحقق ثم تقييم الاستجابة خوارزمية لهذه الحركات إضافية، وبالتالي تقييم متانة خوارزمية لحركات شاذة. تقدم هذه الورقة لبس نظام مراقبة التنقل (WMMS) بروتوكول التقييم التي تستخدم دورة للرقابة التي تعكس بيئات الحياة اليومية من واقع الحياة. WMMSويمكن بعد ذلك يتم تقييم تحت ظروف محكومة ولكنها واقعية. في هذا البروتوكول، ونحن استخدام الجيل الثالث WMMS التي تم تطويرها في معهد أبحاث مستشفى أوتاوا 11-15 جامعة أوتاوا و. تم تصميم WMMS للهواتف الذكية مع التسارع ثلاثي محور وجيروسكوب. حسابات خوارزمية التنقل لتقلب المستخدم، ويوفر تخفيض في عدد من ايجابيات كاذبة عن التغييرات من الدولة تحديد الهوية، ويزيد من حساسية في النشاط التصنيف. التقليل من ايجابيات كاذبة المهم منذ WMMS يطلق قصيرة تسجيل الفيديو كليب عندما يتم الكشف عن التغييرات نشاط الدولة، لحساسة للسياق تقييم النشاط الذي يحسن أيضا تصنيف WMMS. تسجيل فيديو لزوم لها من عدم الكفاءة في تخزين واستخدام البطارية. ويتمحور الخوارزمية WMMS كنموذج التعلم المنخفض الحسابية وتقييمها باستخدام مستويات التنبؤ مختلفة، حيث زيادة مستوى التنبؤ تعني زيادة في كميةإجراءات التعرف عليها.

<table><tbody><tr><td>Smartphone or wearable measurement device</td><td>Blackberry</td><td>Z10</td><td></td></tr><tr><td>Smartphone for video recording</td><td>Blackberry</td><td>Z10 or 9800</td><td></td></tr><tr><td>Phone holster</td><td>Any</td><td></td><td></td></tr><tr><td>Data logger application for the smartphone</td><td>BlackBerry World - TOHRC Data Logger for BlackBerry 10</td><td></td><td>&lt;a href=&quot;http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA&quot;&gt;http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA&lt;/a&gt;</td></tr><tr><td>Wearable mobility measurement</td><td>Custom Blackberry 10 and Matlab software for mobility monitoring</td><td></td><td>&lt;a href=&quot;http://www.irrd.ca/cag/smartphone/&quot;&gt;http://www.irrd.ca/cag/smartphone/&lt;/a&gt;</td></tr><tr><td>Video editing or analysis software</td><td>Motion Analysis Tools</td><td></td><td>&lt;a href=&quot;http://www.irrd.ca/cag/mat/&quot;&gt;http://www.irrd.ca/cag/mat/&lt;/a&gt;</td></tr></tbody></table>

evaluation of a smartphone-based human activity recognition system in a daily living environment

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors). 
To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.
The mobile versus immobile classification set had a sensitivity of 86.30% &#177; 7.2% and specificity of 98.96% &#177; 0.6%, while the second prediction set had a sensitivity of 88.35% &#177; 7.80% and specificity of 98.51% &#177; 0.62%. For the third classification set, sensitivity was 84.92% &#177; 6.38% and specificity was 98.17 &#177; 0.62. F1 scores for the first, second and third classification sets were 86.17 &#177; 6.3, 80.19 &#177; 6.36, and 78.42 &#177; 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

وقد أجريت بروتوكول الدراسة على عينة راحة خمسة عشر المشاركين الأصحاء الذين يبلغ متوسط ​​وزن كان 68.9 (± 11.1) كجم، وكان ارتفاع 173.9 (± 11.4) سم، وكان سن 26 (± 9) سنوات، المعينين من مستشفى أوتاوا وجامعة أوتاوا الموظفين والطلاب. القبض على الهاتف الذكي بيانات الاستشعار في متغير معد...

Watch this Scientific Journal Video about Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment at JoVE.com

Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

تقييم لنظام التعرف على آخر الانسان ومقرها الذكي في صحيفة ظروف المعيشة

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that ...

evaluation-smartphone-based-human-activity-recognition-system-daily

Universidad San Sebastian

Research

JoVE Journal

Behavior

8.8K Views.  University of Ottawa. A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Video: Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment

Methodology for Establishing a Community-Wide Life Laboratory for Capturing Unobtrusive and Continuous Remote Activity and Health Data

An end-to-end suite of technologies has been established for the unobtrusive and continuous monitoring of health and activity changes occurring in the daily life of older adults over extended periods of time. The technology is aggregated into a system that incorporates the principles of being minimally obtrusive, while generating secure, privacy protected, continuous objective data in real-world (home-based) settings for months to years. The system includes passive infrared presence sensors placed throughout the home, door contact sensors installed on exterior doors, connected physiological monitoring devices (such as scales), medication boxes, and wearable actigraphs. Driving sensors are also installed in participants' cars and computer (PC, tablet or smartphone) use is tracked. Data is annotated via frequent online self-report options that provide vital information with regard to the data that is difficult to infer via sensors such as internal states (e.g., pain, mood, loneliness), as well as data referent to activity pattern interpretation (e.g., visitors, rearranged furniture). Algorithms have been developed using the data obtained to identify functional domains key to health or disease activity monitoring, including mobility (e.g., room transitions, steps, gait speed), physiologic function (e.g., weight, body mass index, pulse), sleep behaviors (e.g., sleep time, trips to the bathroom at night), medication adherence (e.g., missed doses), social engagement (e.g., time spent out of home, time couples spend together), and cognitive function (e.g., time on computer, mouse movements, characteristics of online form completion, driving ability). Change detection of these functions provides a sensitive marker for the application in health surveillance of acute illnesses (e.g., viral epidemic) to the early detection of prodromal dementia syndromes. The system is particularly suitable for monitoring the efficacy of clinical interventions in natural history studies of geriatric syndromes and in clinical trials.

Unobtrusive sensors and pervasive computing technology incorporated into the daily home life of older adults enables meaningful health and activity changes to be recorded continuously for months to years, providing ecologically valid, high frequency, multi-domain data for research or clinical use.

منهجية لإنشاء مختبر لحياة على نطاق المجتمع لالتقاط بيانات الصحة والنشاط البعيد غير مزعجة ومستمرة

An end-to-end suite of technologies has been established for the unobtrusive and continuous monitoring of health and activity changes occurring in the ...

Measuring the Kinematics of Daily Living Movements with Motion Capture Systems in Virtual Reality

The inability to complete instrumental activities of daily living (IADL) is a precursor to various neuropsychological diseases. Questionnaire-based assessments of IADL are easy to use but prone to subjective bias. Here, we describe a novel virtual reality (VR) test to assess two complex IADL tasks: handling financial transactions and using public transportation. While a participant performs the tasks in a VR setting, a motion capture system traces the position and orientation of the dominant hand and head in a three-dimensional Cartesian coordinate system. Kinematic raw data are collected and converted into &#39;kinematic performance measures,&#39; i.e., motion trajectory, moving distance, and time to completion. Motion trajectory is the path of a particular body part (e.g., dominant hand or head) in space. Moving distance refers to the total distance of the trajectory, and time to completion is how long it took to complete an IADL task. These kinematic measures could discriminate patients with cognitive impairment from healthy controls. The development of this kinematic measuring protocol allows detection of early IADL-related cognitive impairments.

We designed a virtual reality test to assess instrumental activities of daily living (IADL) with a motion capture system. We propose a detailed kinematic analysis to interpret the participant&#39;s various movements, including trajectory, moving distance, and time to completion to evaluate IADL capabilities.

قياس الكينماتيكا حركات المعيشة اليومية مع أنظمة التقاط الحركة في الواقع الافتراضي

The inability to complete instrumental activities of daily living (IADL) is a precursor to various neuropsychological diseases. Questionnaire-based ...

An Application for Pairing with Wearable Devices to Monitor Personal Health Status

The current protocol aims to showcase the technology integration, providing a detailed description of adopting the HealthCloud app, developed by the Healthy Landscape and Healthy People Lab, National Taiwan University (HLHP-NTU), on smartphones and smartwatches to collect data on users' real-time psychological and physiological responses and environmental information. A flexible and integrated research method was proposed because it can be difficult to measure multi-dimensional aspects of personal data in on-site studies in landscape and outdoor recreation research. An on-site study conducted in 2020 at the National Taiwan University campus was used as an application example. A dataset of 385 participants was used after excluding invalid samples. During the experiment, participants were asked to walk around campus for 30 min when their heart rate and psychological-scale items were measured, together with several environmental metrics. This work aimed to provide a possible solution to help on-site studies track real-time human responses that match ambient factors. Due to the app's flexibility, its use on wearable devices shows excellent potential for multidisciplinary research studies.

The present protocol introduces a non-commercial self-developed application for collecting real-time on-site data, including psychological scales, GPS location, heart rate, and blood-oxygen saturation level, as well as the application's operating procedures. An empirical study conducted in Taiwan in 2020 was used as an application example.

تطبيق للاقتران بالأجهزة القابلة للارتداء لمراقبة الحالة الصحية الشخصية

The current protocol aims to showcase the technology integration, providing a detailed description of adopting the HealthCloud app, developed by the ...

Environment

تعزيز مشاركة الفصل الدراسي: تحليل قائم على الذكاء الاصطناعي لمستويات انتباه الطلاب

Artificial Intelligence-Based System for Detecting Attention Levels in Students

The attention level of students in a classroom can be improved through the use of Artificial Intelligence (AI) techniques. By automatically identifying the attention level, teachers can employ strategies to regain students' focus. This can be achieved through various sources of information.
One source is to analyze the emotions reflected on students' faces. AI can detect emotions, such as neutral, disgust, surprise, sadness, fear, happiness, and anger. Additionally, the direction of the students' gaze can also potentially indicate their level of attention. Another source is to observe the students' body posture. By using cameras and deep learning techniques, posture can be analyzed to determine the level of attention. For example, students who are slouching or resting their heads on their desks may have a lower level of attention. Smartwatches distributed to the students can provide biometric and other data, including heart rate and inertial measurements, which can also be used as indicators of attention. By combining these sources of information, an AI system can be trained to identify the level of attention in the classroom. However, integrating the different types of data poses a challenge that requires creating a labeled dataset. Expert input and existing studies are consulted for accurate labeling. In this paper, we propose the integration of such measurements and the creation of a dataset and a potential attention classifier. To provide feedback to the teacher, we explore various methods, such as smartwatches or direct computers. Once the teacher becomes aware of attention issues, they can adjust their teaching approach to re-engage and motivate the students. In summary, AI techniques can automatically identify the students' attention level by analyzing their emotions, gaze direction, body posture, and biometric data. This information can assist teachers in optimizing the teaching-learning process.

تسليط الضوء على المؤلف: معالجة التحديات التقنية والذاتية في قياس انتباه الفصل الدراسي

This paper proposes an artificial intelligence-based system to automatically detect whether students are paying attention to the class or are distracted. This system is designed to help teachers maintain students' attention, optimize their lessons, and dynamically introduce modifications in order for them to be more engaging.

نظام قائم على الذكاء الاصطناعي للكشف عن مستويات الانتباه لدى الطلاب

The attention level of students in a classroom can be improved through the use of Artificial Intelligence (AI) techniques. By automatically identifying ...

Engineering

Home-Based Monitor for Gait and Activity Analysis

Current outcomes in neuromuscular disorder clinical trials include motor function scales, timed tests, and strength measures performed by trained clinical evaluators. These measures are slightly subjective and are performed during a visit to a clinic or hospital and constitute therefore a point assessment. Point assessments can be influenced by daily patient condition or factors such as fatigue, motivation, and intercurrent illness. To enable home-based monitoring of gait and activity, a wearable magneto-inertial sensor (WMIS) has been developed. This device is a movement monitor composed of two very light watch-like sensors and a docking station. Each sensor contains a tri-axial accelerometer, gyroscope, magnetometer, and a barometer that record linear acceleration, angular velocity, the magnetic field of the movement in all directions, and barometric altitude, respectively. The sensors can be worn on the wrist, ankle, or wheelchair to record the subject&#8217;s movements during the day. The docking station enables data uploading and recharging of sensor batteries during the night. Data are analyzed using proprietary algorithms to compute parameters representative of the type and intensity of the performed movement. This WMIS can record a set of digital biomarkers, including cumulative variables, such as total number of meters walked, and descriptive gait variables, such as the percentage of the most rapid or longest stride that represents the top performance of patient over a predefined period of time.

This innovative device uses magneto-inertial sensors to permit gait and activity analysis in uncontrolled environments. Currently in the qualification process as an outcome measure in the European Medical Agency, one of the applications will be to serve as a clinical endpoint in clinical trials in neuromuscular diseases.

جهاز مراقبة منزلي لتحليل مشية والنشاط

Current outcomes in neuromuscular disorder clinical trials include motor function scales, timed tests, and strength measures performed by trained clinical ...

Bioengineering

Video Movement Analysis Using Smartphones (ViMAS): A Pilot Study

The use of smartphones in clinical practice is steadily increasing with the availability of low cost/freely available &#34;apps&#34; that could be used to assess human gait. The primary aim of this manuscript is to test the concurrent validity of kinematic measures recorded by a smartphone application in comparison to a 3D motion capture system in the sagittal plane. The secondary aim was to develop a protocol for clinicians on the set up of the smartphone camera for video movement analysis.
The sagittal plane knee angle was measured during heel strike and toe off events using the smart phone app and a 3D motion-capture system in 32 healthy subjects. Three trials were performed at near (2-m) and far (4-m) smartphone camera distances. The order of the distances was randomized. Regression analysis was performed to estimate the height of the camera based on either the subject&#39;s height or leg length.
Absolute measurement errors were least during toe off (3.12 &#177; 5.44 degrees) compared to heel strike (5.81 &#177; 5.26 degrees). There were significant (p &#60; 0.05) but moderate agreements between the application and 3D motion capture measures of knee angles. There were also no significant (p &#62; 0.05) differences between the absolute measurement errors between the two camera positions. The measurement errors averaged between 3 - 5 degrees during toe off and heel strike events of the gait cycle.
The use of smartphone apps can be a useful tool in the clinic for performing gait or human movement analysis. Further studies are needed to establish the accuracy in measuring movements of the upper extremity and trunk.

Video Movement Analysis Using Smartphones ViMAS: A Pilot Study

This manuscript describes the method to test the concurrent validity of kinematic measures recorded by the smartphone application in comparison to a 3D motion capture system in the sagittal plane. This protocol will enable clinicians to set up smartphones for video capture of human movement.

فيديو تحليل الحركة عن طريق الهواتف الذكية (VIMAS): دراسة استطلاعية

The use of smartphones in clinical practice is steadily increasing with the availability of low cost/freely available &#34;apps&#34; that could be used to ...

Medicine

Design and Analysis for Fall Detection System Simplification

This paper presents a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition system that can be easily implemented and adopted. The methodology is based on the configuration of specific types of sensors, machine-learning methods and procedures. The protocol is divided into four phases: (1) database creation (2) data analysis (3) system simplification and (4) evaluation. Using this methodology, we created a multimodal database for fall detection and human activity recognition, namely UP-Fall Detection. It comprises data samples from 17 subjects that perform 5 types of falls and 6 different simple activities, during 3 trials. All information was gathered using 5 wearable sensors (tri-axis accelerometer, gyroscope and light intensity), 1 electroencephalograph helmet, 6 infrared sensors as ambient sensors, and 2 cameras in lateral and front viewpoints. The proposed novel methodology adds some important stages to perform a deep analysis of the following design issues in order to simplify a fall detection system: a) select which sensors or combination of sensors are to be used in a simple fall detection system, b) determine the best placement of the sources of information, and c) select the most suitable machine learning classification method for fall and human activity detection and recognition. Even though some multimodal approaches reported in literature only focus on one or two of the above-mentioned issues, our methodology allows simultaneously solving these three design problems related to a human fall and activity detection and recognition system.

We present a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition system. The goal is to build a system for accurate fall detection that can be easily implemented and adopted.

تصميم وتحليل لتبسيط نظام الكشف عن السقوط

This paper presents a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition ...

A Method for Quantifying Upper Limb Performance in Daily Life Using Accelerometers

A key reason for referral to rehabilitation services after stroke and other neurological conditions is to improve one's ability to function in daily life. It has become important to measure a person's activities in daily life, and not just measure their capacity for activity in the structured environment of a clinic or laboratory. A wearable sensor that is now enabling measurement of daily movement is the accelerometer. Accelerometers are commercially-available devices resembling large wrist watches that can be worn throughout the day. Data from accelerometers can quantify how the limbs are engaged to perform activities in peoples' homes and communities. This report describes a methodology to collect accelerometry data and turn it into clinically-relevant information. First, data are collected by having the participant wear two accelerometers (one on each wrist) for 24 h or longer. The accelerometry data are then downloaded and processed to produce four different variables that describe key aspects of upper limb activity in daily life: hours of use, use ratio, magnitude ratio, and the bilateral magnitude. Density plots can be constructed that visually represent the data from the 24 h wearing period. The variables and their resultant density plots are highly consistent in neurologically-intact, community-dwelling adults. This striking consistency makes them a useful tool for determining if upper limb daily performance is different from normal. This methodology is appropriate for research studies investigating upper limb dysfunction and interventions designed to improve upper limb performance in daily life in people with stroke and other patient populations. Because of its relative simplicity, it may not be long before it is also incorporated in clinical neurorehabilitation practice.

This protocol describes a method to quantify upper limb performance in daily life using wrist-worn accelerometers.

A طريقة لقياس أداء الطرف العلوي في الحياة اليومية عن طريق التسارع

A key reason for referral to rehabilitation services after stroke and other neurological conditions is to improve one's ability to function in daily life. ...

تقييم لنظام التعرف على آخر الانسان ومقرها الذكي في صحيفة ظروف المعيشة

Summary

Explore More Videos

Chapters in this video

منهجية لإنشاء مختبر لحياة على نطاق المجتمع لالتقاط بيانات الصحة والنشاط البعيد غير مزعجة ومستمرة

قياس الكينماتيكا حركات المعيشة اليومية مع أنظمة التقاط الحركة في الواقع الافتراضي

تطبيق للاقتران بالأجهزة القابلة للارتداء لمراقبة الحالة الصحية الشخصية

نظام قائم على الذكاء الاصطناعي للكشف عن مستويات الانتباه لدى الطلاب

نظام قائم على الذكاء الاصطناعي للكشف عن مستويات الانتباه لدى الطلاب

نظام قائم على الذكاء الاصطناعي للكشف عن مستويات الانتباه لدى الطلاب

جهاز مراقبة منزلي لتحليل مشية والنشاط

فيديو تحليل الحركة عن طريق الهواتف الذكية (VIMAS): دراسة استطلاعية

تصميم وتحليل لتبسيط نظام الكشف عن السقوط

A طريقة لقياس أداء الطرف العلوي في الحياة اليومية عن طريق التسارع