Umeå universitets logga

umu.sePublikationer
Driftstörningar
Det förekommer återkommande driftstörningar på några av sök-portalerna på grund av hög belastning. Vi arbetar på att lösa problemet, ni kan tillfälligt mötas av ett felmeddelande.
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
The reliability of replications: a study in computational reproductions
Organization and Program Planning, German Institute for Adult Education, Leibniz Center of Lifelong Learning, Bonn, Germany.
School of Politics and International Studies, University of Leeds, Leeds, United Kingdom.
Geschwister Scholl Institute, LMU Munich, Munich, Germany.
Department of Sociology, University of Maryland, College Park, United States.
Visa övriga samt affilieringar
2025 (Engelska)Ingår i: Royal Society Open Science, E-ISSN 2054-5703, Vol. 12, nr 3, artikel-id 241038Artikel i tidskrift (Refereegranskat) Published
Abstract [en]

This study investigates researcher variability in computational reproduction, an activity for which it is least expected. Eighty-five independent teams attempted numerical replication of results from an original study of policy preferences and immigration. Reproduction teams were randomly grouped into a 'transparent group' receiving original study and code or 'opaque group' receiving only a method and results description and no code. The transparent group mostly verified original results (95.7% same sign and p-value cutoff), while the opaque group had less success (89.3%). Second-decimal place exact numerical reproductions were less common (76.9 and 48.1%). Qualitative investigation of the workflows revealed many causes of error, including mistakes and procedural variations. When curating mistakes, we still find that only the transparent group was reliably successful. Our findings imply a need for transparency, but also more. Institutional checks and less subjective difficulty for researchers 'doing reproduction' would help, implying a need for better training. We also urge increased awareness of complexity in the research process and in 'push button' replications.

Ort, förlag, år, upplaga, sidor
Royal Society, 2025. Vol. 12, nr 3, artikel-id 241038
Nyckelord [en]
computational reproduction, reliability, replications, social and behavioural sciences
Nationell ämneskategori
Psykologi (Exklusive tillämpad psykologi)
Identifikatorer
URN: urn:nbn:se:umu:diva-237136DOI: 10.1098/rsos.241038Scopus ID: 2-s2.0-105001207223OAI: oai:DiVA.org:umu-237136DiVA, id: diva2:1952452
Forskningsfinansiär
Deutsche Forschungsgemeinschaft (DFG), 464546557Tillgänglig från: 2025-04-15 Skapad: 2025-04-15 Senast uppdaterad: 2025-05-16Bibliografiskt granskad

Open Access i DiVA

fulltext(1074 kB)64 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 1074 kBChecksumma SHA-512
57eec97caa746571d8f7457fdc70cb7ff6fefe650e7c8b647c395769a74fd6b9bf580b1962a9bf132a77af2ee9a986da86170fd81edbd8f099eb137b3647c50a
Typ fulltextMimetyp application/pdf

Övriga länkar

Förlagets fulltextScopus

Person

Bohman, AndreaEger, Maureen A.Hjerm, Mikael

Sök vidare i DiVA

Av författaren/redaktören
Bohman, AndreaEger, Maureen A.Hjerm, Mikael
Av organisationen
Sociologiska institutionen
I samma tidskrift
Royal Society Open Science
Psykologi (Exklusive tillämpad psykologi)

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 73 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 723 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf