Umeå University's logo

This pilot study has the twofold purpose of analyzing the effect of XAI explanations on the mental models of economic games participants, and testing the feasibility of the methodology devised for it. To achieve this, we compared the contribution behavior and mental models of 30 participants playing a public good game. Playing in pairs, a total of 10 participants played in each of three different conditions: i) a condition with a decision support system providing suggestions for contributions; ii) a condition with the decision support system and explanations for its suggestions; iii) a control condition. Upon finishing the game, all participants completed a Retrospection Task questionnaire to elicit their mental models about the game’s goals and partner’s behavior. Our results showed differences in the contribution behavior and mental models of the participants between the three conditions, with the condition with explanations presenting consistently higher contributions and participants reporting prosocial attitudes. Through these findings, this pilot study demonstrates the feasibility of the methodology and argues for the need of a larger-scale study to further investigate the effect of XAI explanations on the users’ mental models.

Denna pilotstudie har det dubbla syftet att analysera effekten av XAI-förklaringar på de mentala representationerna hos deltagarna i ekonomiska spel och att testa genomförbarheten av den metod som utarbetats för studien. För att uppnå detta jämförde vi bidragsbeteendet och de mentala representationerna hos 30 deltagare som spelade ett spel om kollektiva nyttigheter. Totalt 10 deltagare spelade parvis i var och en av tre olika behandlingar: i) en med ett beslutsstödsystem som ger förslag på bidrag, ii) en med beslutsstödsystemet och förklaringar till dess förslag, iii) en kontrollgrupp. Efter att ha avslutat spelet fyllde alla deltagare i ett frågeformulär om en retrospektionsuppgift för att utvärdera deras mentala representationer om spelets mål och partnerns beteende. Våra resultat visade skillnader i deltagarnas bidragsbeteende och mentala modeller mellan de tre behandlingarna, där behandlingen med förklaringar presenterade genomgående högre bidrag och deltagare som rapporterade prosociala attityder. Genom dessa resultat visar den här pilotstudien att metoden är genomförbar och argumenterar för behovet av en studie i större skala för att ytterligare undersöka effekten av XAI-förklaringar på användarnas mentala modeller.