Change search
ReferencesLink to record
Permanent link

Direct link
Effects of interactivity and 3D-motion on mental rotation brain activity in an immersive virtual environment
Umeå University, Faculty of Science and Technology, Department of Computing Science.
Umeå University, Faculty of Science and Technology, Department of Computing Science. (UMIT)
Umeå University, Faculty of Medicine, Department of Community Medicine and Rehabilitation, Geriatric Medicine.
Umeå University, Faculty of Medicine, Department of Integrative Medical Biology (IMB).
Show others and affiliations
2010 (English)In: Proceedings of the 28th international conference on Human factors in computing systems, Association for Computing Machinery (ACM), 2010, 869-878 p.Conference paper (Refereed)
Abstract [en]

The combination of virtual reality (VR) and brain measurements is a promising development of HCI, but the maturation of this paradigm requires more knowledge about how brain activity is influenced by parameters of VR applications. To this end we investigate the influence of two prominent VR parameters, 3d-motion and interactivity, while brain activity is measured for a mental rotation task, using functional MRI (fMRI). A mental rotation network of brain areas is identified, matching previous results. The addition of interactivity increases the activation in core areas of this network, with more profound effects in frontal and preparatory motor areas. The increases from 3d-motion are restricted to primarily visual areas. We relate these effects to emerging theories of cognition and potential applications for brain-computer interfaces (BCIs). Our results demonstrate one way to provoke increased activity in task-relevant areas, making it easier to detect and use for adaptation and development of HCI.

Place, publisher, year, edition, pages
Association for Computing Machinery (ACM), 2010. 869-878 p.
Keyword [en]
Virtual reality, fMRI, Reality-based interaction, VRfMRI, brain imaging, BCI
National Category
Computer Science
URN: urn:nbn:se:umu:diva-40034DOI: 10.1145/1753326.1753454ISI: 000281276700097ISBN: 978-1-60558-929-9OAI: diva2:397579
CHI 2010 - ACM Conference on Human Factors in Computing Systems, 10-15 Apri, Atlanta, GA, USA
Available from: 2011-02-15 Created: 2011-02-15 Last updated: 2015-10-09Bibliographically approved
In thesis
1. Reality-based brain-computer interaction
Open this publication in new window or tab >>Reality-based brain-computer interaction
2011 (English)Licentiate thesis, comprehensive summary (Other academic)
Abstract [en]

Recent developments within human-computer interaction (HCI) and cognitive neuroscience have come together to motivate and enable a framework for HCI with a solid basis in brain function and human reality. Human cognition is increasingly considered to be critically related to the development of human capabilities in the everyday environment (reality). At the same time, increasingly powerful computers continuously make the development of complex applications with realistic interaction easier. Advances in cognitive neuroscience and brain-computer interfaces (BCIs) make it possible to use an understanding of how the brain works in realistic environments to interpret brain measurements and adapt interaction in computer-generated virtual environments (VEs). Adaptive and realistic computer applications have great potential for training, rehabilitation and diagnosis. Realistic interaction environments are important to facilitate transfer to everyday reality and to gain ecological validity. The ability to adapt the interaction is very valuable as any training or learning must be done at the right level in order to optimize the development of skills.

The use of brain measurements as input to computer applications makes it possible to get direct information about how the brain reacts to aspects of a VE. This provides a basis for the development of realistic and adaptive computer applications that target cognitive skills and abilities. Theories of cognition and brain function provide a basis for how such cognitive skills develop, through internalization of interaction with the current environment. By considering how internalization leads to the neural implementation and continuous adaptation of mental simulations in the brain it is possible to relate designed phenomena in a VE to brain measurements.

The work presented in this thesis contributes to a foundation for the development of reality-based brain-computer interaction (RBBCI) applications by combining VR with emerging BCI methods based on an understanding of the human brain in human reality. RBBCI applications can be designed and developed to interact directly with the brain by interpreting brain measurements as responses to deliberate manipulations of a computer-generated reality. As the application adapts to these responses an interaction loop is created that excludes the conscious user. The computer interacts with the brain, through (the virtual) reality.

Abstract [sv]

Den senaste tidens utveckling inom människa-dator-interaktion (MDI) och kognitiv neurovetenskap har samverkat till att motivera och möjliggöra ett ramverk för MDI med en stabil grund i hjärnfunktion och människors verklighet. Mänsklig kognition anses till allt högre grad vara kritisk beroende av hur människors förmågor utvecklas i den vardagliga miljön (verkligheten). Samtidigt har ständigt kraftfullare datorer gjort det allt lättare att utveckla komplexa applikationer med realistisk interaktion. Framsteg inom kognitiv neurovetenskap och hjärna-dator-gränssnitt (brain-computer interface, BCI) gör det möjligt att dra nytta av en förståelse av hur hjärnan fungerar i realistiska miljöer för att tolka hjärnmätningar och anpassa interaktion i datorgenererade virtuella miljöer (virtual environment, VE). Adaptiva och realistiska datorapplikationer har stor potential för träning, rehabilitering och diagnostik. Realistiska interaktionsmiljöer är viktiga för att underlätta överföring (transfer) till vardagen och för att nå ekologisk validitet. Möjligheten att anpassa interaktion är mycket värdefull eftersom träning och lärande måste ske på rätt nivå för att optimera effekten.

Genom att använda sig av hjärnmätningar som indata till datorprogram blir det möjligt att få direkt information om hur hjärnan reagerar på olika aspekter av en VE. Detta ger en grund för utveckling av realistiska och adaptiva datorprogram som riktar in sig på kognitiva färdigheter och förmågor. Teorier om kognition och hjärnan ger en bas för att förstå hur sådana kognitiva färdigheter utvecklas genom att interaktion med omgivningen internaliseras. Genom att ta hänsyn till hur internalisering leder till ständig utveckling av mentala simuleringar i hjärnan är det möjligt att relatera designade fenomen i en VE till hjärnmätningar.

Det arbete som presenteras i denna avhandling lägger en grund för utveckling av verklighets-baserad hjärna-dator-interaktions (reality-based brain-computer interaction, RBBCI) applikationer genom att kombinera VR med nya BCI metoder, baserat på en förståelse av den mänskliga hjärnan i människans verklighet. RBBCI-program kan designas och utvecklas för att interagera direkt med hjärnan genom att tolka hjärnmätningar som respons på avsiktliga manipulationer av den datorgenererade verkligheten. När programmet anpassar sig till denna respons uppstår en interaktionsloop som exkluderar den medvetna användaren. Datorn interagerar med hjärnan, genom (den virtuella) verkligheten.

Place, publisher, year, edition, pages
Umeå: Department of Computing Science, Umeå University, 2011. 55 p.
Report / UMINF, ISSN 0348-0542 ; 11.05
reality-based brain-computer interaction, virtual reality, reality-based interaction, brain-computer interface, activity theory, the free-energy principle, grounded cognition
National Category
Human Computer Interaction Computer Science
Research subject
urn:nbn:se:umu:diva-44904 (URN)978-91-7459-245-0 (ISBN)
2011-06-20, MC413, MIT-building, Umeå University, Umeå, 13:15 (English)
Available from: 2011-06-15 Created: 2011-06-14 Last updated: 2011-06-15Bibliographically approved
2. Human brains and virtual realities: Computer-generated presence in theory and practice
Open this publication in new window or tab >>Human brains and virtual realities: Computer-generated presence in theory and practice
2013 (English)Doctoral thesis, comprehensive summary (Other academic)
Alternative title[sv]
Mänskliga hjärnor och virtuella verkligheter : Datorgenererad närvaro i teori och praktik
Abstract [en]

A combined view of the human brain and computer-generated virtual realities is motivated by recent developments in cognitive neuroscience and human-computer interaction (HCI). The emergence of new theories of human brain function, together with an increasing use of realistic human-computer interaction, give reason to believe that a better understanding of the relationship between human brains and virtual realities is both possible and valuable. The concept of “presence”, described as the subjective feeling of being in a place that feels real, can serve as a cornerstone concept in the development of such an understanding, as computer-generated presence is tightly related to how human brains work in virtual realities.

In this thesis, presence is related both to theoretical discussions rooted in theories of human brain function, and to measurements of brain activity during realistic interaction. The practical implications of such results are further developed by considering potential applications. This includes the development and evaluation of a prototype application, motivated by presented principles.

The theoretical conception of presence in this thesis relies on general principles of brain function, and describes presence as a general cognitive function, not specifically related to virtual realities. Virtual reality (VR) is an excellent technology for investigating and taking advantage of all aspects of presence, but a more general interpretation allows the same principles to be applied to a wide range of applications.

Functional magnetic resonance imaging (fMRI) was used to study the working human brain in VR. Such data can inform and constrain further discussion about presence. Using two different experimental designs we have investigated both the effect of basic aspects of VR interaction, as well as the neural correlates of disrupted presence in a naturalistic environment.

Reality-based brain-computer interaction (RBBCI) is suggested as a concept for summarizing the motivations for, and the context of, applications building on an understanding of human brains in virtual realities. The RBBCI prototype application we developed did not achieve the set goals, but much remains to be investigated and lessons from our evaluation point to possible ways forward. A developed use of methods and techniques from computer gaming is of particular interest.

Abstract [sv]

Ett kombinerat perspektiv på den mänskliga hjärnan och datorgenererade virtuella verkligheter motiveras av den senaste utvecklingen inom kognitiv neurovetenskap och människa-datorinteraktion (MDI). Framväxten av nya teorier om den mänskliga hjärnan, tillsammans med en ökande användning av realistisk människa-datorinteraktion, gör det troligt att en bättre förståelse för relationen mellan mänskliga hjärnor och virtuella verkligheter är både möjlig och värdefull. Begreppet "närvaro", som i detta sammanhang beskrivs som den subjektiva känslan av att vara på en plats som känns verklig, kan fungera som en hörnsten i utvecklingen av en sådan förståelse, då datorgenererad närvaro är tätt kopplat till hur mänskliga hjärnor fungerar i virtuella verkligheter.

I denna avhandling kopplas närvaro både till teoretiska diskussioner grundade i teorier om den mänskliga hjärnan, och till mätningar av hjärnans aktivitet under realistisk interaktion. De praktiska konsekvenserna av sådana resultat utvecklas vidare med en närmare titt på potentiella tillämpningar. Detta inkluderar utveckling och utvärdering av en prototypapplikation, motiverad av de presenterade principerna.

Den teoretiska diskussionen av närvaro i denna avhandling bygger på allmänna principer för hjärnans funktion, och beskriver känslan av närvaro som en generell kognitiv funktion, inte specifikt relaterad till virtuella verkligheter. Virtuell verklighet (virtual reality, VR) är en utmärkt teknik för att undersöka och dra nytta av alla aspekter av närvaro, men en mer allmän tolkning gör att samma principer kan tillämpas på ett brett spektrum av applikationer.

Funktionell hjärnavbildning (fMRI) användes för att studera den arbetande mänskliga hjärnan i VR. Sådant data kan informera och begränsa en vidare diskussion av närvaro. Med hjälp av två olika försöksdesigner har vi har undersökt både effekten av grundläggande aspekter av VR-interaktion, och neurala korrelat av störd närvaro i en naturalistisk miljö.

Verklighets-baserad hjärna-dator interaktion (reality-based brain-computer interaction, RBBCI) föreslås som ett begrepp för att sammanfatta motiv och kontext för applikationer som bygger på en förståelse av den mänskliga hjärnan i virtuella verkligheter. Den prototypapplikation vi utvecklade uppnådde inte de uppsatta målen, men mycket återstår att utforska och lärdomar från vår utvärdering pekar på möjliga vägar framåt. En vidare användning av metoder och tekniker från dataspel är speciellt intressant.

Place, publisher, year, edition, pages
Umeå: Umeå universitet, 2013. 43 p.
Report / UMINF, ISSN 0348-0542 ; 13.06
Human brain function, virtual reality, presence, cognitive neuroscience, human-computer interaction, brain imaging, fMRI, BCI, neural correlates, HCI theory, reality-based interaction.
National Category
Human Computer Interaction
urn:nbn:se:umu:diva-68664 (URN)978-91-7459-617-5 (ISBN)978-91-7459-618-2 (ISBN)
Public defence
2013-05-17, Naturvetarhuset, N360, Umeå universitet, Umeå, 13:15 (English)
Available from: 2013-04-23 Created: 2013-04-22 Last updated: 2013-04-23Bibliographically approved

Open Access in DiVA

No full text

Other links

Publisher's full text

Search in DiVA

By author/editor
Sjölie, DanielBodin, KennethElgh, EvaEriksson, JohanJanlert, Lars-ErikNyberg, Lars
By organisation
Department of Computing ScienceGeriatric MedicineDepartment of Integrative Medical Biology (IMB)
Computer Science

Search outside of DiVA

GoogleGoogle Scholar
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

Altmetric score

Total: 219 hits
ReferencesLink to record
Permanent link

Direct link