umu.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Capturing neural correlates of disrupted presence ina naturalistic virtual environment
Umeå universitet, Teknisk-naturvetenskapliga fakulteten, Institutionen för datavetenskap.
Aging Research Center (ARC), Karolinska Institute and Stockholm University, Stockholm, Sweden.
Umeå universitet, Medicinska fakulteten, Institutionen för integrativ medicinsk biologi (IMB). Umeå universitet, Medicinska fakulteten, Umeå centrum för funktionell hjärnavbildning (UFBI).
2013 (Engelska)Rapport (Övrigt vetenskapligt)
Abstract [en]

The concept of presence is commonly related to whether or not a user feels, acts, and reacts as if he/she were in a real familiar environment when using a virtual reality (VR) application. Understanding the neural correlates of presence may provide a foundation for objective measurements of presence and important constraints for theoretical explanations of presence. Discussions about the neural basis for presence are relatively common, but brain imaging has rarely been applied to investigating this issue. Previous studies have focused on detecting average differences between conditions that correlate with differences in reported presence. In this study we focused on breaks in presence and associated periods of disrupted presence as an important complement to previous work. Specifically, we measured brain activity with functional magnetic resonance imaging (fMRI) during execution of an everyday task in a naturalistic virtual environment (VE). Time periods of disrupted presence were identified by subject reports indicating something strange in the current environment, interpreted as a violation of expectations related to the sense of presence. Disrupted presence was associated with increased activity in the frontopolar cortex (FPC), lateral occipito-temporal cortex (LOTC), the temporal poles (TP), and the posterior superior temporal cortex (pSTC). We relate these areas to integration of key aspects of a presence experience, relating the (changing) situation to management of task and goals (FPC), interpretation of visual input (LOTC), emotional evaluation of the context (TP) and possible interactions (pSTC). Modulation of the activity level in these brain areas is consistent with an interpretation of disrupted presence as a re-evaluation of key aspects of a subjective mental reality, updating the synchronization with the virtual environment as previous predictions fail. Such a subjective mental reality may also be related to a self-centered type of mentalization, providing a link to accounts of presence building on the self.

Ort, förlag, år, upplaga, sidor
2013.
Serie
Report / UMINF, ISSN 0348-0542 ; 13.05
Nyckelord [en]
Presence, brain function, virtual reality, functional MRI
Nationell ämneskategori
Människa-datorinteraktion (interaktionsdesign) Neurovetenskaper
Identifikatorer
URN: urn:nbn:se:umu:diva-68662OAI: oai:DiVA.org:umu-68662DiVA, id: diva2:617278
Tillgänglig från: 2013-04-22 Skapad: 2013-04-22 Senast uppdaterad: 2018-06-08Bibliografiskt granskad
Ingår i avhandling
1. Human brains and virtual realities: Computer-generated presence in theory and practice
Öppna denna publikation i ny flik eller fönster >>Human brains and virtual realities: Computer-generated presence in theory and practice
2013 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Alternativ titel[sv]
Mänskliga hjärnor och virtuella verkligheter : Datorgenererad närvaro i teori och praktik
Abstract [en]

A combined view of the human brain and computer-generated virtual realities is motivated by recent developments in cognitive neuroscience and human-computer interaction (HCI). The emergence of new theories of human brain function, together with an increasing use of realistic human-computer interaction, give reason to believe that a better understanding of the relationship between human brains and virtual realities is both possible and valuable. The concept of “presence”, described as the subjective feeling of being in a place that feels real, can serve as a cornerstone concept in the development of such an understanding, as computer-generated presence is tightly related to how human brains work in virtual realities.

In this thesis, presence is related both to theoretical discussions rooted in theories of human brain function, and to measurements of brain activity during realistic interaction. The practical implications of such results are further developed by considering potential applications. This includes the development and evaluation of a prototype application, motivated by presented principles.

The theoretical conception of presence in this thesis relies on general principles of brain function, and describes presence as a general cognitive function, not specifically related to virtual realities. Virtual reality (VR) is an excellent technology for investigating and taking advantage of all aspects of presence, but a more general interpretation allows the same principles to be applied to a wide range of applications.

Functional magnetic resonance imaging (fMRI) was used to study the working human brain in VR. Such data can inform and constrain further discussion about presence. Using two different experimental designs we have investigated both the effect of basic aspects of VR interaction, as well as the neural correlates of disrupted presence in a naturalistic environment.

Reality-based brain-computer interaction (RBBCI) is suggested as a concept for summarizing the motivations for, and the context of, applications building on an understanding of human brains in virtual realities. The RBBCI prototype application we developed did not achieve the set goals, but much remains to be investigated and lessons from our evaluation point to possible ways forward. A developed use of methods and techniques from computer gaming is of particular interest.

Abstract [sv]

Ett kombinerat perspektiv på den mänskliga hjärnan och datorgenererade virtuella verkligheter motiveras av den senaste utvecklingen inom kognitiv neurovetenskap och människa-datorinteraktion (MDI). Framväxten av nya teorier om den mänskliga hjärnan, tillsammans med en ökande användning av realistisk människa-datorinteraktion, gör det troligt att en bättre förståelse för relationen mellan mänskliga hjärnor och virtuella verkligheter är både möjlig och värdefull. Begreppet "närvaro", som i detta sammanhang beskrivs som den subjektiva känslan av att vara på en plats som känns verklig, kan fungera som en hörnsten i utvecklingen av en sådan förståelse, då datorgenererad närvaro är tätt kopplat till hur mänskliga hjärnor fungerar i virtuella verkligheter.

I denna avhandling kopplas närvaro både till teoretiska diskussioner grundade i teorier om den mänskliga hjärnan, och till mätningar av hjärnans aktivitet under realistisk interaktion. De praktiska konsekvenserna av sådana resultat utvecklas vidare med en närmare titt på potentiella tillämpningar. Detta inkluderar utveckling och utvärdering av en prototypapplikation, motiverad av de presenterade principerna.

Den teoretiska diskussionen av närvaro i denna avhandling bygger på allmänna principer för hjärnans funktion, och beskriver känslan av närvaro som en generell kognitiv funktion, inte specifikt relaterad till virtuella verkligheter. Virtuell verklighet (virtual reality, VR) är en utmärkt teknik för att undersöka och dra nytta av alla aspekter av närvaro, men en mer allmän tolkning gör att samma principer kan tillämpas på ett brett spektrum av applikationer.

Funktionell hjärnavbildning (fMRI) användes för att studera den arbetande mänskliga hjärnan i VR. Sådant data kan informera och begränsa en vidare diskussion av närvaro. Med hjälp av två olika försöksdesigner har vi har undersökt både effekten av grundläggande aspekter av VR-interaktion, och neurala korrelat av störd närvaro i en naturalistisk miljö.

Verklighets-baserad hjärna-dator interaktion (reality-based brain-computer interaction, RBBCI) föreslås som ett begrepp för att sammanfatta motiv och kontext för applikationer som bygger på en förståelse av den mänskliga hjärnan i virtuella verkligheter. Den prototypapplikation vi utvecklade uppnådde inte de uppsatta målen, men mycket återstår att utforska och lärdomar från vår utvärdering pekar på möjliga vägar framåt. En vidare användning av metoder och tekniker från dataspel är speciellt intressant.

Ort, förlag, år, upplaga, sidor
Umeå: Umeå universitet, 2013. s. 43
Serie
Report / UMINF, ISSN 0348-0542 ; 13.06
Nyckelord
Human brain function, virtual reality, presence, cognitive neuroscience, human-computer interaction, brain imaging, fMRI, BCI, neural correlates, HCI theory, reality-based interaction.
Nationell ämneskategori
Människa-datorinteraktion (interaktionsdesign)
Identifikatorer
urn:nbn:se:umu:diva-68664 (URN)978-91-7459-617-5 (ISBN)978-91-7459-618-2 (ISBN)
Disputation
2013-05-17, Naturvetarhuset, N360, Umeå universitet, Umeå, 13:15 (Engelska)
Opponent
Handledare
Tillgänglig från: 2013-04-23 Skapad: 2013-04-22 Senast uppdaterad: 2018-06-08Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Personposter BETA

Sjölie, DanielEriksson, Johan

Sök vidare i DiVA

Av författaren/redaktören
Sjölie, DanielEriksson, Johan
Av organisationen
Institutionen för datavetenskapInstitutionen för integrativ medicinsk biologi (IMB)Umeå centrum för funktionell hjärnavbildning (UFBI)
Människa-datorinteraktion (interaktionsdesign)Neurovetenskaper

Sök vidare utanför DiVA

GoogleGoogle Scholar

urn-nbn

Altmetricpoäng

urn-nbn
Totalt: 193 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf