Evaluation of Subjective Mental Workload: A Comparison of SWAT, NASA‐TLX, and Workload Profile Methods

Abstract

Cette recherche mesure plusieurs propriétés psychométriques (l’ingérence, la sensibilité, la valeur diagnostique et la validité) de trois instruments multidimensionnels de l’évaluation de la charge de travail subjective: le NASA Task Load Index (TLX), le Subjective Workload Assessment Technique (SWAT) et le Workload Profile (WP). Sujets ont réalisé deux tâches de laboratoire séparément (tâches simples) et simultanément (tâches doubles). D’après l’analyse de variance, les trois instruments ne présentent pas de différences au niveau de l’ingérence, mais WP bénéficie d’une sensibilité exceptionnelle aux manipulations des différentes tâches. On a fait appel à une analyse canonique discriminante pour apprécier la valeur diagnostique de chacun des trois instruments. Les résultats de l’analyse ont prouvé que les trois évaluations multidimensionnelles avaient fourni une information diagnostique sur la nature des exigences des tâches qui était cohérente avec leur description a priori . Toutefois, la valeur diagnostique du WP s’est révélée nettement supérieure à celles du TLX ou du SWAT. Pour évaluer la validité concurrente de chaque instrument avec la performance aux tâches, on a calculé les corrélations de Pearson entre chaque performance et chaque mesure de la charge subjective. On a enfin calculé les corrélations de Pearson entre les trois mesures de charge subjective pour évaluer la validité convergente des instruments. Les trois coefficients ont été positifs et proche du maximum, soulignant ainsi la forte validité convergente des trois outils retenus pour cette recherche. On a aussi comparé les conditions d’application et l’acceptabilité par les sujets. On mentionne pour terminer les implications pratiques de ces trois sortes d’évaluation. The present research evaluates several psychometric properties (intrusiveness, sensitivity, diagnosticity, and validity) of three multidimensional subjective workload assessment instruments: the NASA Task Load Index (TLX), the Subjective Workload Assessment Technique (SWAT), and the Workload Profile (WP). Subjects performed two laboratory tasks separately (single task) and simultaneously (dual task). The results of the ANOVAs performed showed that there are no differences with regard to the three instruments’ intrusiveness, and that among the three subjective workload instruments WP has an outstanding sensitivity to the different task manipulations. To evaluate the diagnosticity of each of the three instruments canonical discriminant analysis was used, and this demonstrated that the three multidimensional ratings provided diagnostic information on the nature of tasks demands that was consistent with the a priori task characterisation. However, the diagnostic power of WP was clearly superior to that obtained using TLX or SWAT. Pearson correlations between each performance and each subjective workload measure were calculated to evaluate the concurrent validity of each instrument with task performance, and to assess the convergent validity of the instruments. The three coefficients were positive and near to one, showing the high convergent validity of the three instruments considered in this research. Implementation requirements and subject acceptability were also compared. Finally, practical implications on the three assessment approaches are mentioned.