Name: evaluation of a smartphone-based human activity recognition system in a daily living environment
Uploaded: 2015-12-11T13:00:00.000+00:00
Duration: 6 min 49 s
Description: Watch this Scientific Journal Video about Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment at JoVE.com

Die Autoren danken Evan Beisheim, Nicole Capela, Andrew Herbert-Copley für technische und Datenerfassungshilfe. Projektförderung wurde aus den Natur- und Ingenieurwissenschaften Research Council of Canada (NSERC) und Blackberry Ltd., einschließlich Smartphones in der Studie erhalten.

Dieses Protokoll wurde von der Ottawa Health Science Network Research Ethics Board genehmigt. 1. Vorbereitung <ol><li> Bieten den Teilnehmern einen Überblick über die Forschung, alle Fragen zu beantworten und zu erhalten, informierte Zustimmung. Rekordteilnehmer Eigenschaften (zB Alter, Geschlecht, Größe, Gewicht, Taillenumfang, Beinhöhe von der Spina iliaca anterior superior des Innenknöchels) Identifikationscode, und das Datum auf einem Datenblatt. Stellen Sie sicher, dass das zweite Smartphone, das verwendet wird, um Video aufzunehmen, um zumindest ein 30 Bildern pro Sekunde Aufnahmerate eingestellt ist. </li><li> Befestigen Sie eine Telefon Holster vorne rechts Gürtel oder Hose Taille des Teilnehmers. Starten Sie das Smartphone-Anwendung, die verwendet werden, um die Sensordaten (dh, Datenprotokollierung oder WMMS Anwendung) auf die Mobilität Mess Smartphone sammeln und sicherzustellen, dass die Anwendung in geeigneter Weise ausgeführt wird, wird. Legen Sie das Smartphone in das Holster, mit der Geräterückseite (hinten camera) nach außen zeigt. </li><li> Starten Sie digitale Videoaufzeichnung auf einer zweiten Smartphone. Nach Anonymität, notieren Sie die Vergleichsvideo, ohne dafür das Gesicht der Person, aber zu gewährleisten, um alle Aktivitätsübergänge aufzuzeichnen. Das Telefon kann Handheld zu sein. </li></ol> 2. Aktivitätsschaltung <ol><li> Folgen Sie den Teilnehmer und Video ihre Aktionen auf der zweiten Smartphone, während sie die folgenden Aktionen aus, vom Prüfer gesprochen ausführen: <ol><li> Aus dem Stand, schütteln Sie das Smartphone an den Start der Studie zeigen. </li><li> Weiterhin stehen für mindestens 10 sec. Diese stehen Phase kann für Telefon Orientierung Kalibrierung 14 verwendet werden. </li><li> Gehen Sie zu einem nahe gelegenen Stuhl und setz dich. </li><li> Aufstehen und gehen 60 Meter zu einem Aufzug. </li><li> Stehen und warten auf den Aufzug und dann in den Aufzug zu gehen. </li><li> Nehmen Sie den Aufzug in den zweiten Stock. </li><li> Drehen Sie und gehen Sie in der häuslichen Umgebung. </li><li> Gehen Sie ins Badezimmer und siformulieren Zähneputzen. </li><li> Simulieren Sie das Kämmen der Haare. </li><li> Simulieren Sie die Hände zu waschen. </li><li> Trockene Hände mit einem Handtuch. </li><li> Gehen Sie in die Küche. </li><li> Nehmen Sie Gerichte aus einem Rack und legen Sie sie auf den Tresen. </li><li> Füllen Sie einen Wasserkocher mit Wasser aus der Küchenspüle. </li><li> Setzen Sie den Wasserkocher auf dem Herd Element. </li><li> Legen Sie Brot in einem Toaster. </li><li> Gehen Sie bis zum Esszimmer. </li><li> Sitzen an einem Esstisch. </li><li> Simulieren Sie eine Mahlzeit am Tisch. </li><li> Stehen und gehen zurück in die Küchenspüle. </li><li> Spülen Sie das Geschirr und legen Sie sie in einem Rack. </li><li> Gehen Sie von der Küche zurück zum Aufzug. </li><li> Stehen und warten auf den Aufzug und dann in den Aufzug zu gehen. </li><li> Nehmen Sie den Aufzug in den ersten Stock. </li><li> Gehen Sie 50 Meter zu einem Treppenhaus. </li><li> Öffnen Sie die Tür und geben Sie das Treppenhaus. </li><li> Gehen Sie die Treppe (13 Stufen, rund Landung, 13 Stufen). </li><li> Öffnen Sie die Treppenhaustür in den Flur. </li><li> Biegen Sie rechts ab und gehen den Flur entlang zum 15 Meter. </li><li> Drehen Sie sich um und gehen Sie 15 Meter zurück zum Treppenhaus. </li><li> Öffnen Sie die Tür und geben Sie das Treppenhaus. </li><li> Gehen Sie die Treppe (13 Stufen, rund Landung, 13 Stufen). </li><li> Verlassen Sie das Treppenhaus und einen Raum betreten. </li><li> Liegen auf einem Bett. </li><li> Aufstehen und gehen 10 Meter zu einer Rampe. </li><li> Gehen Sie die Rampe, sich umdrehen, dann die Rampe hinunter (20 Meter). </li><li> Gehen Sie weiter in die Halle und öffnen Sie die Tür nach draußen. </li><li> 100 Meter zu Fuß auf dem gepflasterten Weg. </li><li> Drehen Sie sich um und gehen zurück in den Raum. </li><li> Gehen Sie in den Raum und stehen am Startpunkt. </li><li> Weiter stehend, und dann schütteln Sie das Smartphone an das Ende der Studie zeigen. </li></ol></li></ol> 3. Probe Fertigstellung <ol><li> Stoppen Sie die Videoaufnahme-Smartphone und bitten die Teilnehmer, zu entfernen und das Smartphone und Holster. Stoppen Sie die Datenprotokollierung oder WMMS Anwendung auf dem smartphone. Kopieren Sie die erfassten Bewegungsdaten-Dateien und die Videodatei von beiden Telefonen auf einen Computer für die Nachbearbeitung. </li></ol> 4. Nachbearbeitung <ol><li> Synchronisieren Timing zwischen dem Video und dem Sensor-Rohdaten durch Bestimmung der Zeit, als die Erschütterung Aktion gestartet. Diese Schüttelbewegung entspricht einer deutlichen Beschleunigungsmessersignal und Videorahmen. Erfragen Synchronisationsfehler durch Subtrahieren des Endes Schütteldauer von Anfang Schütteldauer, für Sensor und Video-Datenquellen. Zeitunterschiede sollten ähnlich zwischen den beiden Datensätzen sein. </li><li> Bestimmen Sie tatsächlichen Change-of-State-mal aus dem Gold-Standard-Video durch die Erfassung der Zeitdifferenz vom Beginn shake Zeit, um den Video-Frame an dem Übergang zwischen Aktivitäten. Verwenden Sie Video-Editing-Software, um Timing innerhalb 0,033 sec zu erhalten (dh, 30 Bilder pro Sekunde Videorate). Verwenden WMMS Software zu vergleichbaren Veränderungen-of-state aus den Sensordaten zu erzeugen. </li><li> Generieren Sie zwei Datensätzen, einemmit der wahren und über das zweite mit einer vorhergesagten Aktivitäten durch Markierung die Aktivität für jeden Videorahmen (basierend auf dem Zustandswechsel Timing) und dann Berechnen des vorhergesagten Zeit bei jedem Videoframes vom WMMS ausgegeben. Für WMMS Leistungsbewertung, berechnen wahren Positiven, falsche Negative, wahre Negative, False Positives zwischen dem Gold-Standard-Aktivität und WMMS vorhergesagten Aktivität. Verwenden Sie diese Parameter, um die Empfindlichkeit, Spezifität und F-Score Ergebnisse Maßnahmen zu berechnen. Hinweis: Ein Toleranzeinstellung von 3 Datenfenstern auf beiden Seiten des Fensters, die analysiert zur Bestimmung Change-of-State-Ergebnisse verwendet werden, und 2 Datenfenster für die Klassifikation Ergebnisse. Da beispielsweise 1 Sekunde Datenfenstern wurden zum WMMS in dieser Studie verwendet, 3 Sekunden vor und nach dem aktuellen Fenster untersucht, so dass aufeinanderfolgende Veränderungen innerhalb der Toleranz liegen ignoriert. Die Überlegung war, dass Zustandsänderungen, die in weniger als 3 Sekunden passieren kann für grobe huma ignoriert werdenn Bewegungsanalyse, da diese Staaten würden als transitorische werden. </li></ol>

<ol>
	<li>Lara, O. D., Labrador, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Survey+on+Human+Activity+Recognition+using+Wearable+Sensors.">A Survey on Human Activity Recognition using Wearable Sensors.</a> IEEE Communications Surveys Tutorials. 15 (3), 1192-1209 (2013).</li><li>Foerster, F., Smeja, M., Fahrenberg, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Detection+of+posture+and+motion+by+accelerometry:+a+validation+study+in+ambulatory+monitoring.">Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring.</a> Computers in Human Behavior. 15 (5), 571-583 (1999).</li><li>Elsmore, T. F., Naitoh, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Monitoring Activity With a Wrist-Worn Actigraph: Effects of Amplifier Passband and threshold Variations. , (1993).</li><li>Kripke, D. F., Webster, J. B., Mullaney, D. J., Messin, S., Mason, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Measuring sleep by wrist actigraph. , (1981).</li><li>Lockhart, J. W., Pulickal, T., Weiss, G. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Applications+of+mobile+activity+recognition.">Applications of mobile activity recognition.</a> Proceedings of the 2012 ACM Conference on Ubiquitous Computing. , 1054-1058 (2012).</li><li>Incel, O. D., Kose, M., Ersoy, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Review+and+Taxonomy+of+Activity+Recognition+on+Mobile+Phones.">A Review and Taxonomy of Activity Recognition on Mobile Phones.</a> BioNanoScience. 3 (2), 145-171 (2013).</li><li>Yang, C. C., Hsu, Y. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Review+of+Accelerometry-Based+Wearable+Motion+Detectors+for+Physical+Activity+Monitoring.">A Review of Accelerometry-Based Wearable Motion Detectors for Physical Activity Monitoring.</a> Sensors. 10 (8), 7772-7788 (2010).</li><li>He, Y., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Physical+Activity+Recognition+Utilizing+the+Built-In+Kinematic+Sensors+of+a+Smartphone.">Physical Activity Recognition Utilizing the Built-In Kinematic Sensors of a Smartphone.</a> International Journal of Distributed Sensor Networks. 2013, (2013).</li><li>Vo, Q. V., Hoang, M. T., Choi, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Personalization+in+Mobile+Activity+Recognition+System+using+K-medoids+Clustering+Algorithm.">Personalization in Mobile Activity Recognition System using K-medoids Clustering Algorithm.</a> International Journal of Distributed Sensor Networks. 2013, (2013).</li><li>Dernbach, S., Das, B., Krishnan, N. C., Thomas, B. L., Cook, D. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Simple+and+Complex+Activity+Recognition+through+Smart+Phones.">Simple and Complex Activity Recognition through Smart Phones.</a> , 214-221 (2012).</li><li>Hache, G., Lemaire, E. D., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Mobility+change-of-state+detection+using+a+smartphone-based+approach.">Mobility change-of-state detection using a smartphone-based approach.</a> IEEE International Workshop on Medical Measurements and Applications Proceedings (MeMeA). , 43-46 (2010).</li><li>Wu, H. H., Lemaire, E. D., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Change-of-state+determination+to+recognize+mobility+activities+using+a+BlackBerry+smartphone.">Change-of-state determination to recognize mobility activities using a BlackBerry smartphone.</a> , 5252-5255 (2011).</li><li>Wu, H., Lemaire, E. D., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Activity+Change-of-state+Identification+Using+a+Blackberry+Smartphone.">Activity Change-of-state Identification Using a Blackberry Smartphone.</a> Journal of Medical and Biological Engineering. 32 (4), 265-271 (2012).</li><li>Tundo, M. D., Lemaire, E., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Correcting+Smartphone+orientation+for+accelerometer-based+analysis.">Correcting Smartphone orientation for accelerometer-based analysis.</a> IEEE International Symposium on Medical Measurements and Applications Proceedings (MeMeA). , 58-62 (2013).</li><li>Tundo, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Development of a human activity recognition system using inertial measurement unit sensors on a smartphone. , (2014).</li></ol>

The authors declare that they have no competing financial interests.

Menschliche Aktivitäten Erkennung mit einer tragbaren Mobilität Überwachungssystem hat mehr Aufmerksamkeit in den letzten Jahren aufgrund der technischen Fortschritte in der Wearable Computing und Smartphones und systematische Anforderungen für quantitative Zielparameter, die mit der klinischen Entscheidungsfindung und Gesundheit Intervention Evaluation helfen erhalten. Die in diesem Dokument beschriebenen Methode wirksam war für die Bewertung WMMS Entwicklung seit Aktivitätsklassifikation Fehler gefunden wurden, ...

Ubiquitous Erkundung hat sich zu einem Eingriffsforschungsbereich aufgrund von immer leistungsfähigeren, kleine, kostengünstige Computing und Erfassungsgeräte 1. Mobility Überwachung mit tragbaren Sensoren hat ein großes Interesse erzeugt, da Verbraucher-Level-Mikroelektronik sind zum Aufspüren von Bewegungseigenschaften mit hoher Genauigkeit 1. Menschliche Aktivitäten Erkennung (HAR) unter Verwendung von tragbaren Sensoren ist ein neues Forschungsgebiet, die Vorstudien in den 1980er und 1990er Jahren durchgeführt 2-4. Moderne Smartphones enthalten die notwendigen Sensoren und Echtzeitberechnung Fähigkeit zur Mobilität Aktivitätserkennung. Echtzeit-Analyse auf dem Gerät erlaubt Aktivität Klassifikation und Daten-Upload ohne Benutzereingriff oder Prüfer. Ein Smartphone mit Mobilitätsanalysesoftware konnte Fitness Tracking, Gesundheitsberichterstattung liefern, fallen Erkennung, zu Hause oder der Arbeit Automatisierung und selbstverwaltende exercise Programme 5. Smartphones kann als Trägheitsmessplattformen zur Detektion mobilen Aktivitäten und mobile Muster bei Menschen mit generierten mathematischen Signalmerkmale mit integrierten Sensorausgänge 6 berechnet. Erzeugungsverfahren gemeinsames Merkmal umfassen Heuristik Zeitbereich, Frequenzdomäne und Wavelet-Analyse basierende Ansätze 7. Modernes Smartphone HAR Systeme wurden bei der Erkennung bestimmter Aktivitäten 1,5,6,7 hohe Vorhersagegenauigkeit angezeigt. Diese Studien unterscheiden sich in Bewertungsmethodik sowie die Genauigkeit, da die meisten Studien haben ihre eigenen Trainingsgruppe, Umwelt Konfiguration und Datenerfassung Protokoll. Sensitivität, Spezifität, Genauigkeit, Rückruf, Präzision und F-Score werden häufig verwendet, um Vorhersagequalität zu beschreiben. , Wenig bis gar keine Informationen ist jedoch auf Verfahren für &quot;paralleles Arbeiten&quot; Anerkennung und Bewertung der Fähigkeit, Aktivitätsänderungen in Echtzeit zu erfassen1, für die HAR-Systeme, die verschiedene Aktivitäten zu kategorisieren versuchen. Bewertungsmethoden für die Systemgenauigkeit HAR variieren erheblich zwischen den Studien. Unabhängig von der Klassifikationsalgorithmus oder angewandte Funktionen, sind Beschreibungen der Goldstandard Bewertungsmethoden vage für die meisten HAR Forschung. Aktivitätserkennung in einer täglichen Lebensumfeld wurde nicht umfassend erforscht. Esten Smartphone basierten Aktivitätserkennungssysteme werden in einer kontrollierten Art und Weise bewertet, was zu einer Bewertung Protokoll, das dem Algorithmus nicht realistisch, eine reale Umgebung vorteilhaft sein. Im Rahmen ihrer Bewertungsschema, Teilnehmer führen oft nur die Aktionen zur Vorhersage bestimmt, anstatt die Anwendung eine große Auswahl an realistischen Aktivitäten für die Teilnehmer nacheinander durchführen, imitiert wirklichen Leben Veranstaltungen. Einige Smartphone HAR studiert 8,9 Gruppe ähnliche Aktivitäten zusammen, wie Treppen und Wandern, Schließen jedoch andere Aktivitäten aus dem Datensatz. Vorhersagegenauigkeit wird dann, wie gut der Algorithmus identifiziert die Zielaktivitäten bestimmt. Dernbach et al. 9 hatten die Teilnehmer schreiben, die Tätigkeit, die sie dabei, bevor sie ausgeführt werden, zu unterbrechen kontinuierlichen Change-of-Zustandsübergänge waren. HAR-System Bewertungen sollten den Algorithmus zu bewerten, während die Teilnehmer führt natürlichen Aktionen in einem täglichen Lebenseinstellung. Dies würde eine reale Bewertung, die tägliche Nutzung der Anwendung repliziert ermöglichen. Eine realistische Schaltung enthält viele Änderungen-of-Staat als auch einen Mix von Maßnahmen durch das System nicht vorhersehbar. Ein Ermittler dann beurteilen Reaktion des Algorithmus auf diese zusätzlichen Bewegungen, wodurch die Bewertung Robustheit des Algorithmus, um anomale Bewegungen. Dieser Beitrag stellt eine tragbare Mobility Monitoring System (WMMS) Bewertungsprotokoll, das eine gesteuerte Kurs, der realen täglichen Lebenswelten spiegelt verwendet. WMMSAuswertung kann dann unter kontrollierten, aber realistischen Bedingungen durchgeführt werden. In diesem Protokoll verwenden wir eine der dritten Generation WMMS, die an der Universität von Ottawa und Ottawa Hospital Research Institute 11-15 entwickelt wurde. Die WMMS wurde für Smartphones mit einem Tri-Achsen-Beschleunigungsmesser und Gyroskop gestaltet. Die Mobilität Algorithmus Konten für Benutzer Variabilität, stellt eine Verringerung der Anzahl von False Positives für Änderungen-of-state Identifikation, und erhöht die Empfindlichkeit der Aktivität Kategorisierung. Minimierung von False Positives ist wichtig, da die WMMS löst kurzen Videoclip-Aufnahme wenn Aktivität Zustandsänderungen erkannt werden, für die kontextbezogene Aktivität Evaluierung, die WMMS Klassifizierung weiter verbessert. Unnötige Videoaufzeichnung erzeugt Ineffizienzen bei der Lagerung und Verwendung von Akkus. Die WMMS Algorithmus wird als Low-Rechenlernmodell strukturiert und ausgewertet mit verschiedenen Vorhersagewerken, in denen eine Erhöhung der Vorhersageniveau bedeutet eine Zunahme in der Mengevon erkennbaren Handlungen.

<table><tbody><tr><td>Smartphone or wearable measurement device</td><td>Blackberry</td><td>Z10</td><td></td></tr><tr><td>Smartphone for video recording</td><td>Blackberry</td><td>Z10 or 9800</td><td></td></tr><tr><td>Phone holster</td><td>Any</td><td></td><td></td></tr><tr><td>Data logger application for the smartphone</td><td>BlackBerry World - TOHRC Data Logger for BlackBerry 10</td><td></td><td>&lt;a href=&quot;http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA&quot;&gt;http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA&lt;/a&gt;</td></tr><tr><td>Wearable mobility measurement</td><td>Custom Blackberry 10 and Matlab software for mobility monitoring</td><td></td><td>&lt;a href=&quot;http://www.irrd.ca/cag/smartphone/&quot;&gt;http://www.irrd.ca/cag/smartphone/&lt;/a&gt;</td></tr><tr><td>Video editing or analysis software</td><td>Motion Analysis Tools</td><td></td><td>&lt;a href=&quot;http://www.irrd.ca/cag/mat/&quot;&gt;http://www.irrd.ca/cag/mat/&lt;/a&gt;</td></tr></tbody></table>

evaluation of a smartphone-based human activity recognition system in a daily living environment

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors). 
To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.
The mobile versus immobile classification set had a sensitivity of 86.30% &#177; 7.2% and specificity of 98.96% &#177; 0.6%, while the second prediction set had a sensitivity of 88.35% &#177; 7.80% and specificity of 98.51% &#177; 0.62%. For the third classification set, sensitivity was 84.92% &#177; 6.38% and specificity was 98.17 &#177; 0.62. F1 scores for the first, second and third classification sets were 86.17 &#177; 6.3, 80.19 &#177; 6.36, and 78.42 &#177; 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

Das Studienprotokoll wurde mit einer Gelegenheitsstichprobe von fünfzehn nichtbehinderte Teilnehmer, deren Durchschnittsgewicht betrug 68,9 (± 11,1) kg durchgeführt, Höhe betrug 173,9 (± 11,4) cm, und Alter betrug 26 (± 9) Jahre, gerechnet ab Ottawa Krankenhaus rekrutiert und University of Ottawa Mitarbeiter und Studenten. Ein Smartphone erfassten Sensordaten mit einer variablen 40-50 Hz-Rate. Abtastrate Schwankungen sind typisch für Smartphone-Sensor Probenahme. Ein zweites Smartphone wurde verwendet, um digital...

Watch this Scientific Journal Video about Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment at JoVE.com

Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Evaluation eines Smartphone-basierte Personal Activity Recognition System in einem täglichen Lebens Umwelt

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that ...

evaluation-smartphone-based-human-activity-recognition-system-daily

Universidad San Sebastian

Research

JoVE Journal

Behavior

8.8K Aufrufe.  University of Ottawa. A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Serie: Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment

Methodology for Establishing a Community-Wide Life Laboratory for Capturing Unobtrusive and Continuous Remote Activity and Health Data

An end-to-end suite of technologies has been established for the unobtrusive and continuous monitoring of health and activity changes occurring in the daily life of older adults over extended periods of time. The technology is aggregated into a system that incorporates the principles of being minimally obtrusive, while generating secure, privacy protected, continuous objective data in real-world (home-based) settings for months to years. The system includes passive infrared presence sensors placed throughout the home, door contact sensors installed on exterior doors, connected physiological monitoring devices (such as scales), medication boxes, and wearable actigraphs. Driving sensors are also installed in participants' cars and computer (PC, tablet or smartphone) use is tracked. Data is annotated via frequent online self-report options that provide vital information with regard to the data that is difficult to infer via sensors such as internal states (e.g., pain, mood, loneliness), as well as data referent to activity pattern interpretation (e.g., visitors, rearranged furniture). Algorithms have been developed using the data obtained to identify functional domains key to health or disease activity monitoring, including mobility (e.g., room transitions, steps, gait speed), physiologic function (e.g., weight, body mass index, pulse), sleep behaviors (e.g., sleep time, trips to the bathroom at night), medication adherence (e.g., missed doses), social engagement (e.g., time spent out of home, time couples spend together), and cognitive function (e.g., time on computer, mouse movements, characteristics of online form completion, driving ability). Change detection of these functions provides a sensitive marker for the application in health surveillance of acute illnesses (e.g., viral epidemic) to the early detection of prodromal dementia syndromes. The system is particularly suitable for monitoring the efficacy of clinical interventions in natural history studies of geriatric syndromes and in clinical trials.

Unobtrusive sensors and pervasive computing technology incorporated into the daily home life of older adults enables meaningful health and activity changes to be recorded continuously for months to years, providing ecologically valid, high frequency, multi-domain data for research or clinical use.

Methodik für den Aufbau einer EU-weiten Leben Labor für unauffällig und kontinuierliche Remote-Aktivität und Gesundheitsdaten erfassen

An end-to-end suite of technologies has been established for the unobtrusive and continuous monitoring of health and activity changes occurring in the ...

Forschung

Verhalten

Measuring the Kinematics of Daily Living Movements with Motion Capture Systems in Virtual Reality

The inability to complete instrumental activities of daily living (IADL) is a precursor to various neuropsychological diseases. Questionnaire-based assessments of IADL are easy to use but prone to subjective bias. Here, we describe a novel virtual reality (VR) test to assess two complex IADL tasks: handling financial transactions and using public transportation. While a participant performs the tasks in a VR setting, a motion capture system traces the position and orientation of the dominant hand and head in a three-dimensional Cartesian coordinate system. Kinematic raw data are collected and converted into &#39;kinematic performance measures,&#39; i.e., motion trajectory, moving distance, and time to completion. Motion trajectory is the path of a particular body part (e.g., dominant hand or head) in space. Moving distance refers to the total distance of the trajectory, and time to completion is how long it took to complete an IADL task. These kinematic measures could discriminate patients with cognitive impairment from healthy controls. The development of this kinematic measuring protocol allows detection of early IADL-related cognitive impairments.

We designed a virtual reality test to assess instrumental activities of daily living (IADL) with a motion capture system. We propose a detailed kinematic analysis to interpret the participant&#39;s various movements, including trajectory, moving distance, and time to completion to evaluate IADL capabilities.

Messung der Kinematik des täglichen Lebens Bewegungen mit Motion-Capture-Systeme in der virtuellen Realität

The inability to complete instrumental activities of daily living (IADL) is a precursor to various neuropsychological diseases. Questionnaire-based ...

An Application for Pairing with Wearable Devices to Monitor Personal Health Status

The current protocol aims to showcase the technology integration, providing a detailed description of adopting the HealthCloud app, developed by the Healthy Landscape and Healthy People Lab, National Taiwan University (HLHP-NTU), on smartphones and smartwatches to collect data on users' real-time psychological and physiological responses and environmental information. A flexible and integrated research method was proposed because it can be difficult to measure multi-dimensional aspects of personal data in on-site studies in landscape and outdoor recreation research. An on-site study conducted in 2020 at the National Taiwan University campus was used as an application example. A dataset of 385 participants was used after excluding invalid samples. During the experiment, participants were asked to walk around campus for 30 min when their heart rate and psychological-scale items were measured, together with several environmental metrics. This work aimed to provide a possible solution to help on-site studies track real-time human responses that match ambient factors. Due to the app's flexibility, its use on wearable devices shows excellent potential for multidisciplinary research studies.

The present protocol introduces a non-commercial self-developed application for collecting real-time on-site data, including psychological scales, GPS location, heart rate, and blood-oxygen saturation level, as well as the application's operating procedures. An empirical study conducted in Taiwan in 2020 was used as an application example.

Eine Anwendung zur Kopplung mit tragbaren Geräten zur Überwachung des persönlichen Gesundheitszustands

The current protocol aims to showcase the technology integration, providing a detailed description of adopting the HealthCloud app, developed by the ...

Umwelt

Verbesserung des Engagements im Klassenzimmer: KI-basierte Analyse des Aufmerksamkeitsniveaus der Schüler

Artificial Intelligence-Based System for Detecting Attention Levels in Students

The attention level of students in a classroom can be improved through the use of Artificial Intelligence (AI) techniques. By automatically identifying the attention level, teachers can employ strategies to regain students' focus. This can be achieved through various sources of information.
One source is to analyze the emotions reflected on students' faces. AI can detect emotions, such as neutral, disgust, surprise, sadness, fear, happiness, and anger. Additionally, the direction of the students' gaze can also potentially indicate their level of attention. Another source is to observe the students' body posture. By using cameras and deep learning techniques, posture can be analyzed to determine the level of attention. For example, students who are slouching or resting their heads on their desks may have a lower level of attention. Smartwatches distributed to the students can provide biometric and other data, including heart rate and inertial measurements, which can also be used as indicators of attention. By combining these sources of information, an AI system can be trained to identify the level of attention in the classroom. However, integrating the different types of data poses a challenge that requires creating a labeled dataset. Expert input and existing studies are consulted for accurate labeling. In this paper, we propose the integration of such measurements and the creation of a dataset and a potential attention classifier. To provide feedback to the teacher, we explore various methods, such as smartwatches or direct computers. Once the teacher becomes aware of attention issues, they can adjust their teaching approach to re-engage and motivate the students. In summary, AI techniques can automatically identify the students' attention level by analyzing their emotions, gaze direction, body posture, and biometric data. This information can assist teachers in optimizing the teaching-learning process.

Autor im Rampenlicht: Umgang mit technischen und subjektiven Herausforderungen bei der Messung der Aufmerksamkeit im Klassenzimmer

This paper proposes an artificial intelligence-based system to automatically detect whether students are paying attention to the class or are distracted. This system is designed to help teachers maintain students' attention, optimize their lessons, and dynamically introduce modifications in order for them to be more engaging.

Auf künstlicher Intelligenz basierendes System zur Erkennung des Aufmerksamkeitsniveaus von Schülern

The attention level of students in a classroom can be improved through the use of Artificial Intelligence (AI) techniques. By automatically identifying ...

Ingenieurwesen

Home-Based Monitor for Gait and Activity Analysis

Current outcomes in neuromuscular disorder clinical trials include motor function scales, timed tests, and strength measures performed by trained clinical evaluators. These measures are slightly subjective and are performed during a visit to a clinic or hospital and constitute therefore a point assessment. Point assessments can be influenced by daily patient condition or factors such as fatigue, motivation, and intercurrent illness. To enable home-based monitoring of gait and activity, a wearable magneto-inertial sensor (WMIS) has been developed. This device is a movement monitor composed of two very light watch-like sensors and a docking station. Each sensor contains a tri-axial accelerometer, gyroscope, magnetometer, and a barometer that record linear acceleration, angular velocity, the magnetic field of the movement in all directions, and barometric altitude, respectively. The sensors can be worn on the wrist, ankle, or wheelchair to record the subject&#8217;s movements during the day. The docking station enables data uploading and recharging of sensor batteries during the night. Data are analyzed using proprietary algorithms to compute parameters representative of the type and intensity of the performed movement. This WMIS can record a set of digital biomarkers, including cumulative variables, such as total number of meters walked, and descriptive gait variables, such as the percentage of the most rapid or longest stride that represents the top performance of patient over a predefined period of time.

This innovative device uses magneto-inertial sensors to permit gait and activity analysis in uncontrolled environments. Currently in the qualification process as an outcome measure in the European Medical Agency, one of the applications will be to serve as a clinical endpoint in clinical trials in neuromuscular diseases.

Home-Based Monitor für Gait- und Aktivitätsanalyse

Current outcomes in neuromuscular disorder clinical trials include motor function scales, timed tests, and strength measures performed by trained clinical ...

Biotechnik

Video Movement Analysis Using Smartphones (ViMAS): A Pilot Study

The use of smartphones in clinical practice is steadily increasing with the availability of low cost/freely available &#34;apps&#34; that could be used to assess human gait. The primary aim of this manuscript is to test the concurrent validity of kinematic measures recorded by a smartphone application in comparison to a 3D motion capture system in the sagittal plane. The secondary aim was to develop a protocol for clinicians on the set up of the smartphone camera for video movement analysis.
The sagittal plane knee angle was measured during heel strike and toe off events using the smart phone app and a 3D motion-capture system in 32 healthy subjects. Three trials were performed at near (2-m) and far (4-m) smartphone camera distances. The order of the distances was randomized. Regression analysis was performed to estimate the height of the camera based on either the subject&#39;s height or leg length.
Absolute measurement errors were least during toe off (3.12 &#177; 5.44 degrees) compared to heel strike (5.81 &#177; 5.26 degrees). There were significant (p &#60; 0.05) but moderate agreements between the application and 3D motion capture measures of knee angles. There were also no significant (p &#62; 0.05) differences between the absolute measurement errors between the two camera positions. The measurement errors averaged between 3 - 5 degrees during toe off and heel strike events of the gait cycle.
The use of smartphone apps can be a useful tool in the clinic for performing gait or human movement analysis. Further studies are needed to establish the accuracy in measuring movements of the upper extremity and trunk.

Video Movement Analysis Using Smartphones ViMAS: A Pilot Study

This manuscript describes the method to test the concurrent validity of kinematic measures recorded by the smartphone application in comparison to a 3D motion capture system in the sagittal plane. This protocol will enable clinicians to set up smartphones for video capture of human movement.

Video Bewegungsanalyse mit Smartphones (VIMAS): Eine Pilotstudie

The use of smartphones in clinical practice is steadily increasing with the availability of low cost/freely available &#34;apps&#34; that could be used to ...

Medizin

Design and Analysis for Fall Detection System Simplification

This paper presents a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition system that can be easily implemented and adopted. The methodology is based on the configuration of specific types of sensors, machine-learning methods and procedures. The protocol is divided into four phases: (1) database creation (2) data analysis (3) system simplification and (4) evaluation. Using this methodology, we created a multimodal database for fall detection and human activity recognition, namely UP-Fall Detection. It comprises data samples from 17 subjects that perform 5 types of falls and 6 different simple activities, during 3 trials. All information was gathered using 5 wearable sensors (tri-axis accelerometer, gyroscope and light intensity), 1 electroencephalograph helmet, 6 infrared sensors as ambient sensors, and 2 cameras in lateral and front viewpoints. The proposed novel methodology adds some important stages to perform a deep analysis of the following design issues in order to simplify a fall detection system: a) select which sensors or combination of sensors are to be used in a simple fall detection system, b) determine the best placement of the sources of information, and c) select the most suitable machine learning classification method for fall and human activity detection and recognition. Even though some multimodal approaches reported in literature only focus on one or two of the above-mentioned issues, our methodology allows simultaneously solving these three design problems related to a human fall and activity detection and recognition system.

We present a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition system. The goal is to build a system for accurate fall detection that can be easily implemented and adopted.

Design und Analyse zur Vereinfachung des Fallerkennungssystems

This paper presents a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition ...

A Method for Quantifying Upper Limb Performance in Daily Life Using Accelerometers

A key reason for referral to rehabilitation services after stroke and other neurological conditions is to improve one's ability to function in daily life. It has become important to measure a person's activities in daily life, and not just measure their capacity for activity in the structured environment of a clinic or laboratory. A wearable sensor that is now enabling measurement of daily movement is the accelerometer. Accelerometers are commercially-available devices resembling large wrist watches that can be worn throughout the day. Data from accelerometers can quantify how the limbs are engaged to perform activities in peoples' homes and communities. This report describes a methodology to collect accelerometry data and turn it into clinically-relevant information. First, data are collected by having the participant wear two accelerometers (one on each wrist) for 24 h or longer. The accelerometry data are then downloaded and processed to produce four different variables that describe key aspects of upper limb activity in daily life: hours of use, use ratio, magnitude ratio, and the bilateral magnitude. Density plots can be constructed that visually represent the data from the 24 h wearing period. The variables and their resultant density plots are highly consistent in neurologically-intact, community-dwelling adults. This striking consistency makes them a useful tool for determining if upper limb daily performance is different from normal. This methodology is appropriate for research studies investigating upper limb dysfunction and interventions designed to improve upper limb performance in daily life in people with stroke and other patient populations. Because of its relative simplicity, it may not be long before it is also incorporated in clinical neurorehabilitation practice.

This protocol describes a method to quantify upper limb performance in daily life using wrist-worn accelerometers.

Ein Verfahren zur Quantifizierung der oberen Extremität Leistung im täglichen Leben Accelerometer Verwendung

A key reason for referral to rehabilitation services after stroke and other neurological conditions is to improve one's ability to function in daily life. ...

Evaluation eines Smartphone-basierte Personal Activity Recognition System in einem täglichen Lebens Umwelt

Zusammenfassung

Weitere Videos entdecken

Kapitel in diesem Video

Methodik für den Aufbau einer EU-weiten Leben Labor für unauffällig und kontinuierliche Remote-Aktivität und Gesundheitsdaten erfassen

Messung der Kinematik des täglichen Lebens Bewegungen mit Motion-Capture-Systeme in der virtuellen Realität

Eine Anwendung zur Kopplung mit tragbaren Geräten zur Überwachung des persönlichen Gesundheitszustands

Auf künstlicher Intelligenz basierendes System zur Erkennung des Aufmerksamkeitsniveaus von Schülern

Auf künstlicher Intelligenz basierendes System zur Erkennung des Aufmerksamkeitsniveaus von Schülern

Auf künstlicher Intelligenz basierendes System zur Erkennung des Aufmerksamkeitsniveaus von Schülern

Home-Based Monitor für Gait- und Aktivitätsanalyse

Video Bewegungsanalyse mit Smartphones (VIMAS): Eine Pilotstudie

Design und Analyse zur Vereinfachung des Fallerkennungssystems

Ein Verfahren zur Quantifizierung der oberen Extremität Leistung im täglichen Leben Accelerometer Verwendung