Umeå University's logo

This exploratory study investigates the role of academic writing in a second language (L2) with automated writing evaluation (AWE) tools utilizing generative artificial intelligence (AI), as well as the role of such AI-assistance in cognitive writing processes. The research questions asked if there was a relationship between AWE suggestions and keystroke dynamics, how L2 writers interpreted AWE suggestions and made their decisions, and how AI-assisted writing functions within a cognitive model of writing. Six academics wrote a text in English as L2 using a keystroke logging program. The text was later revised using the AWE program InstaText while their interactions were screen recorded. The recording was then promptly followed by stimulated recall interviews. The keystroke logging data that indicates cognitive demand (e.g., pause length, pause frequency, and deletion frequency) were compared to the AWE suggestion frequency. A thematic analysis was conducted on the interviews to investigate the participants’ metacognitive reflections about their decision-making process. A cognitive model of the writing process was used to map the cognitive processes with the keystroke logging data, AWE interactions, and metacognitive reflections. The findings indicate that longer pauses and fewer typos led to fewer AWE suggestions. Six types of metacognitive reflections were identified in the qualitative data, which was then interpreted together with the quantitative data through a cognitive model of the writing process.

Denna explorativa studie undersöker akademiskt skrivande på ett andra språk (L2) med automatiserade skrivbedömningsverktyg (AWE) som använder generativ artificiell intelligens (AI), samt AI-assistansens roll i kognitiva skrivprocesserna. Studien undersökte om det fanns en relation mellan AWE-förslag och tangentloggningsdata, hur L2-skribenter tolkade AWE-förslag och fattade sina beslut, och hur AI-assisterat skrivande fungerar inom en kognitiv modell av skrivande. Sex akademiker skrev en text på engelska som L2 med ett tangentloggningsprogram. Texten reviderades sedan med AWE-programmet InstaText medan deltagarnas interaktioner spelades in på skärmen. Inspelningen följdes omedelbart av stimulated recall-intervjuer. Tangentloggningsdata som indikerar kognitiv belastning (pauslängd, pausfrekvens och raderingsfrekvens) jämfördes med frekvensen av AWE-förslag. En tematisk analys utfördes på intervjuerna för att undersöka deltagarnas metakognitiva reflektioner kring deras beslutsfattande. En kognitiv modell av skrivprocessen användes för att kartlägga de kognitiva processerna med tangentloggningsdata, AWE-interaktionerna och metakognitiva reflektionerna. Resultaten indikerar att längre pauser och färre stavningsfel ledde till färre AWE-förslag. Sex typer av metakognitiva reflektioner identifierades i de kvalitativa data, vilket tolkades tillsammans med de kvantitativa data genom en kognitiv modell av skrivande.