Umeå University's logo

The popularity of Large Language Models (LLMs), such as ChatGPT-4 (GPT), is increasing rapidly. Simultaneously, anxiety is contributing to the global burden of disease. To date, little research is performed on how LLMs portray anxiety. This study aimed to investigate the quality of anxiety portrayals generated by LLMs by “How well do large language models produce realistic anxiety depictions?”, using a mixed-methods approach. Realism was defined as perceived realism and alignment with scientific literature. The quantitative analysis involved 42 participants (age M = 30) randomly assigned to a questionnaire representing one of four anxiety levels. Participants rated perceived level and perceived realism of anxiety descriptions in human-written and GPT-modified texts. Results revealed: GPT-generated anxiety descriptions were perceived significantly more realistic compared to human-written texts; regardless of anxiety level; participants were less accurate in rating anxiety levels of GPTgenerated stories when the levels differed largely from that of the human-written story. The qualitative narrative analysis provided deeper insights into how realistic GPT and a GPT based on the cognitive framework of anxiety (CGPT) depicted anxiety by assessing how well depictions aligned with scientific literature. GPT and CGPT effectively included general features of anxiety in depictions. CGPT focused more on cognitive thought patterns, but neither fully depicted distinctions between different levels of anxiety. Overall, findings suggest LLMs do well in producing realistic representations of anxiety, but fail to fully depict various levels of anxiety. The study contributes to understanding potential applications of LLMs in psychological contexts, including management training, therapeutic settings, and literature. Keywords: LLM, ChatGPT, anxiety, realism, cognitive framework

Språkmodeller (LLMs) som ChatGPT-4 (GPT) blir allt mer populära. Samtidigt påverkar ångest folkhälsan. Hittills har enbart ett fåtal studier utrett hur LLMs skildrar ångest. Syftet med denna studie var att undersöka kvaliteten på ångestskildringar genererade av LLMs med en blandad metodansats genom frågan “Hur väl producerar LLMs realistiska ångestskildringar?”. Realism definierades som upplevd realism och överensstämmelse med vetenskaplig litteratur. I den kvantitativa analysen tilldelades 42 deltagare (ålder M = 30) en enkät som representerade en av fyra ångestnivåer. Deltagarna bedömde upplevd ångestnivå och upplevd realism av ångestbeskrivningar i berättelser skrivna av människor och GPTgenererade berättelser. Resultaten visade att deltagarna uppfattade GPT-genererade ångestbeskrivningar som signifikant mer realistiska, oavsett ångestnivå, men var mindre korrekta i att bedöma ångestnivå i GPT-genererade berättelser när nivån skiljde sig mycket från den människoskrivna versionen. Den kvalitativa narrativa analysen gav djupare insikter i hur realistiskt GPT och en GPT baserad på det kognitiva perspektivet av ångest (CGPT) skildrade ångest genom att jämföra skildringarna med vetenskaplig litteratur. Skildringarna av GPT och CGPT överensstämde i stort sett med litteraturen. CGPT fokuserade mer på kognitiva tankemönster, men ingen modell lyckades fullt ut skildra skillnaderna mellan olika ångestnivåer. Sammantaget tyder resultaten på att LLMs är bra på att skapa realistiska representationer av ångest, men misslyckas med att fullt ut skildra olika ångestnivåer. Studien bidrar till kunskapen om potentiella tillämpningar av LLMs i psykologiska kontexter, såsom ledarskapsutbildning, terapi och inom litteratur. Nyckelord: LLM, ChatGPT, ångest, realism, kognitiv ångest