Umeå University's logo

I oktober 2009 infördes krav på förarbevis för att köra moped klass II. För att få förarbevis måste provtagarna genomgå en obligatorisk utbildning och klara ett kunskapsprov. För att få tillstånd att förrätta prov för moped klass II fick provförrättare lämna in ett exempel på ett prov till Transportstyrelsen tillsammans med ansökan. Vi har analyserat ett urval av dessa prov. Dels gjordes en innehållsanalys av frågorna i proven för att undersöka i vilken utsträckning de täcker det innehåll som stipulerats i föreskriften, och dels undersöktes om de inlämnade proven följer riktlinjer om antal frågor samt hur frågorna följer generella riktlinjer för frågekonstruktion.

Bland de 34 utvalda provförrättarna hade 11 konstruerat egna prov, övriga angav att de använde de prov som Sveriges Trafikskolors Riksförbund (STR) utformat. Föreskriften (TSFS 2010:80) anger att provet ska innehålla 25 till 35 uppgifter. Samtliga studerade prov innehöll minst 25 uppgifter. Med ett par undantag förekommer uppgifter inom samtliga fyra innehållsområden som nämns i föreskriften. Tyngdpunkten ligger på området Trafikregler. Målen för utbildningen och målen för provet i föreskriften stämmer inte helt överens, vilket förmodli­gen är anledningen till att många uppgifter gäller innehåll som inte definieras i föreskriftens krav på provet. De flesta av dessa kan dock kopplas till utbildningsmål i föreskriften.

När det gäller vilka brister som uppträder kan man exempelvis konstatera att vissa frågor kunde vara mer tydligt formulerade, en del svarsalternativ avviker eller är för osannolika, vilket gör antalet reella svarsalternativ färre, vilket är olyckligt.

Både innehåll och utformning av proven varierar avsevärt varför det vore bäst att låta Transportstyrelsen utforma även provet för förarbevis för moped klass II. Det skulle innebära ökad enhetlighet och likvärdighet och därmed en mer rättssäker prövning. Det skulle vara möjligt att sträva efter parallella prov. Det skulle också göra det lättare att övervaka resul­taten och kvaliteten i provet över tid än vad som är möjligt med nuva­rande tillsynsförfarande.

In October 2009 a requirement to obtain a driver’s certificate was introduced for riding a moped class II. In order to obtain a driver’s certificate test-takers are required to complete a compulsory course and pass a test. Those who applied for permission to arrange tests for moped class II had to submit an example of a test to the Swedish Transport Agency with their applications. We have studied a sample of those tests. The content of the tests were analysed in order to determine to what extent the stipulated content of the regulations was covered. Compliance with general guidelines for item construction and whether the regulations concerning number of questions were met was also examined.

Among the 34 selected examiners 11 had developed their own test. The remaining examiners stated that they used the test developed by the Swedish National Association of Driving Schools (STR). Regulations for the test (TSFS 2010:80) stipulate that it should consist of 25 to 35 items. All tests in the study contained at least 25 items. With a couple of exceptions there are items from all four content areas outlined in the regulations. The main emphasis in the tests is on Traffic rules. The goals stipulated for the training and the goals stipulated for the test do not correspond entirely which probably is the reason why many items contain content not defined in the requirements for the test. However, most of such items can be linked to goals for the training.

As to shortcomings in the test some items could for example have been phrased more clearly and contained more information. Some response options deviate from the others or are just too unlikely which unfortunately makes the number of selectable options smaller.

Both content and design of the tests vary considerably why it would be best to let the Swedish Transport Agency develop the test for the conditional driving licence for mopeds class II. The test would be more uniform and equivalent, which would mean a fairer testing. It would be possible to strive for parallel tests. It would also be easier to supervise the results and the quality of the tests than is possible with the current system of supervision.

Den första september 2008 infördes en ny provmodell, ”sammanhållet prov”, för körkort behörighet B. Införandet av sammanhållet prov  innebar att kunskapsprovet och körprovet bokas samtidigt och genomförs samma dag eller nära i tid. Provtagarna börjar med att genomföra kunskapsprovet och oavsett resultat på kunskapsprovet genomför de därefter kör­provet. Provtagarna måste få godkänt på båda proven inom en tvåmånadersperiod från det första godkända provet för att få körkort. I annat fall får de göra om båda proven och betala nya provavgifter.

Denna studie hade som syfte att undersöka om införandet av sammanhållet prov medfört att godkännandefrekvensen på provets två delar ‑ kunskapsprovet respektive körprovet ‑ förändrats, samt om integrationen mellan proven förbättrats.

För att jämföra provtagarnas resultat på kunskapsprovet och körprovet före och efter införandet av sammanhållet prov togs stickprov från registerdata från perioden före och efter införandet av sammanhållet prov.

Provtagarnas resultat på kunskapsprovet undersöktes genom att jämföra resultatet på de kunskapsprov som genomfördes vecka 50 2007 med kunskapsprov som genomfördes motsvarande vecka 2008. Resultatet visar att andelen godkända prov har ökat från 51 till 62 procent. Genomsnittspoängen för provet har ökat och ligger i stick­provet från 2008 ovanför gränsen för godkänt, 52 poäng (52,6 jämfört med tidigare 50,4 poäng).

Resultaten av de körprov som genomförts från december 2008 fram till sista februari 2009 jämfördes med resultatet på de körprov som genomförts under motsvarande period ett år innan. För att få jämförbara grupper ingick endast provtagare som klarat kunskapsprovet i jämförelsen. Analyserna visade att andelen godkända kör­prov ökat från 59 till 66 procent.

Analyserna visade också att det fanns ett samband mellan resultat på kunskapsprovet och körprovet då provtagare med högre poäng på kunskapsprovet hade högre sannolikhet att bli godkända på körprovet.

Slutsatserna från studien är att såväl resultaten på kunskapsprovet som körprovet har förbättrats efter införandet av sammanhållet prov och att sambandet mellan kunskapsprovet och körprovet blivit starkare.

On the 1st of September 2008 a new model for the Swedish driving-licence test was introduced. The new test model means that the theory test and the driving test are viewed as integrated and they are booked at the same time. First, the test-taker takes the theory test and then, on the same day or within a short time period, he or she takes the driving test. The driving test shall always be performed, irrespective of the result of the theory test. In order to obtain a driving licence the test-taker must pass both the theory test and the driving test within a two-month period from the point when the first test is passed – otherwise new fees must be paid and both tests must be retaken.

The aim of this study was to examine whether the introduction of the new test model for licence category B has resulted in an improved pass-rate for the two parts of the test – the theory test and the driving test – and whether the integration of the test parts has improved.

The study was conducted by comparing data from the driving-licence test before and after the new test model was introduced. The results on the theory test were examined by comparing results on the theory test from week 50 in 2007 with results from week 50 in 2008. The results indicated that the percentage of passed tests increased from 51 to 62. The average score on the test increased from 50.4 points in 2007 to 52.6 points in 2008. Thus, the average score in 2008 is above the cut-score for pass, which is 52 (out of 65 points).

The results on the driving test were examined by comparing the driving tests carried out from the beginning of December 2007 to the end of February 2008 with driving tests conducted during the same period one year later. In order to obtain comparable groups, the analysis was based on those who passed the theory test in the new system. The result showed that the percentage of passed tests increased from 59 to 66.

Moreover, the analysis indicated that there is a relationship between the theory and driving test in the sense that test-takers with higher scores on the theory test are more likely to pass the driving test.

In conclusion, the results on both the theory and practical test have improved after the introduction of the new model for the driving-license test and the correlation between the theory test and the driving test is stronger after the change.

Studies of subjective driving skill have usually assessed perceived driving skill in relation to the skills of the average driver. In order to examine whether novice drivers are overconfident with respect to their actual skills, a different method was used in the present study, where specific aspects of perceived driver competence were compared with assessments made by a driver examiner. A Finnish (n = 2847) and a Swedish (n = 805) sample of driving test candidates completed self-assessments and took a practical driving test; the instruments differed between the countries. The results indicated that about 50 percent of the Finnish and between 25 and 35 percent of the Swedish candidates made realistic assessments of their competence in the areas Vehicle manoeuvring, Economical driving and Traffic safety. The proportion of those who overestimated their competence was greater among the Swedish candidates than the Finnish candidates. This might be explained by greater possibilities of practicing self-assessment in the Finnish driver education. Furthermore, the results indicate that males are not overconfident to a greater extent than females. In conclusion, when perceived competence is related to actual competence instead of the skills of the average driver, the majority of drivers are no longer found to overestimate their skills.

Over the last few years there have been discussions regarding whether the Swedish system for selection to higher education is suitable for selecting the most appropriate students. The reasons for these discussions are problems with recruitment, student completion and selection. In the light of these problems and within the limits of the alternative selection, the Swedish National Agency for Higher Education started a project in 2003, with the ambition of developing an entrance test for the technology section in higher education. The prototype consisted of three separate tests: a verbal test, a problem-solving test and a knowledge test.

The knowledge test, which was developed at the Department of Educational Measurement at Umeå University, was intended to measure general knowledge in technology. The assumption was that there is a relationship between knowledge and interest, and one related question was whether the result from this test also could be an indirect measure of interest. If there is a positive relationship between interest, motivation and study success, the idea of using such a test for recruitment and selection is supported.

The first purpose of this study was to examine if there is any evidence for a positive relationship between the score on a general knowledge test in technology and study success in education in technology. The second purpose was to find relevant psychological literature on interest and motivation which could be used in the verification of the hypotheses. For this purpose, a literature search in several databases was conducted. The third purpose was, given that there was a positive relationship between knowledge and study success, to describe the possible uses of the test in the Swedish selection system.

The result, concerning the first purpose, indicated evidence for the hypotheses and therefore the conclusion was that there is also a positive relationship between knowledge and study success. Regarding the third purpose, the conclusion was that the knowledge test could work as an instrument for recruitment, selection and prediction, with a few exceptions.

Finally, some limitations of the study were discussed and some suggestions for further research were given.

Mot bakgrund av att Riksrevisionen har ifrågasatt likvärdigheten i det praktiska körprovet var syftet med denna studie att göra en undersökning av likvärdigheten i bedömningen av provtagarnas prestation på kör­provet. För att undersöka detta utformades studien så att två bedömare, den ordinarie förarprövaren och en s.k. kusk, fick bedöma samma prov­tagare. Studien omfattade sammanlagt 535 prov och bedömningen gjor­des på en 2-gradig skala (godkänd/underkänd). Eftersom utfallet av provet kan påverkas av faktorer som är förknippade med provtagaren och de två bedömarna utvecklades enkäter som besvarades av kuskar, förarprövare och provtagare. Information om provens genomförande erhölls via ett speciellt utarbetat s.k. kuskprotokoll. Resultatet från studien visade att det var en mycket god överensstämmelse mellan förarprövarnas bedömningar. För 93 procent av proven gjorde kusken och förarprövaren exakt samma bedömning på den 2-gradiga skalan. I de fall bedömningarna skilde sig åt visade analyserna endast ett fåtal systematiska skillnader utifrån möjliga förklaringsvariabler. Dessa var dock inte problematiska ur likvärdighetssynpunkt. Erhållna resultat indikerade att de flesta prov genomfördes på ett tillfredsställande sätt. Sammanfattat indikerar detta en hög likvärdighet, såväl vid en nationell som vid en internationell jämförelse.

As the consistency of assessment of the practical driving test has been called into question by the Swedish National Audit Office the purpose of this study was to examine the consistency of assessment of test-takers’ performance on the driving test. In order to examine inter-rater reliability the study was designed so that two raters assessed the same test-taker. The assessment was done on a two-step rating scale (pass/fail). Since the result can be affected by factors associated with the test-taker and the two raters, questionnaires were developed and these were filled in by the test-takers and the raters. Information about the administration of the test was collected via a specially designed form filled in by the second rater. The ordinary examiners’ performance was also rated by the supervising raters on a number of aspects. The result from the study indicated that the agreement between the assessments was very good. For 93 per cent of the tests the two raters chose the same mark on the two-grade scale. In the cases where ratings differed the analyses indicated only a few systematic differences among variables designed to provide possible explanations for differences in opinion. However none of these was problematic with respect to consistency of assessment. Results indicated that most tests were carried out in a satisfactory manner. All in all, the results indicate high consistency of assessment, both from a national and international perspective.

Introduction. In a standards-based school-system alignment of policy documents with stan-dards and assessment is important. To be able to evaluate whether schools and students have reached the standards, the assessment should focus on the standards. Different models and methods can be used for measuring alignment, i.e. the correspondence between standards and assessment. Based on the assumption that a model must be able to include content and cogni-tive complexity, nine different models are identified and these models are then scrutinized with reference to defined theoretical criteria. The conclusion is that Bloom’s revised taxon-omy and Porter’s taxonomy are the most appropriate models.

Method. Bloom’s revised taxonomy and Porter’s taxonomy are compared based on empirical data from standards and assessment in a chemistry course in upper secondary schools in Swe-den. The comparison is based on five rules and of inter-rater reliability.

Results. Bloom’s revised taxonomy was more inclusive and exclusive than Porter’s taxon-omy. The inter-rater reliability for classification of standards was significantly better for Bloom’s revised taxonomy than for Porter’s taxonomy.

Conclusion. Based on the five rules, the conclusion is that Bloom’s revised taxonomy is the best model.

Sammanfattningsvis framstår det som en självklarhet att självvärdering ska vara ett inslag i såväl förarutbildning som förar­prov eftersom det utgör en väsentlig del i den nya kursplanen. Det står också klart att många vinster, både för lärandet och tra­fiksäkerheten, kan göras genom att införa självvärdering i utbildningen. Nästa steg är att diskutera hur detta ska genomföras i praktiken genom att finna sätt för hur självvärdering ska användas både i utbild­ning och i förarprov.