Umeå University's logo

Background: The Swedish driving licence test is a criterion-referenced test resulting in a pass or fail. It currently consists of two parts - a theory test with 65 multiple-choice items and a practical driving test where at least 25 minutes are spent driving in traffic. It is a high-stakes test in the sense that the results are used to determine whether the test-taker should be allowed to drive a car without supervision. As the only other requirements for obtaining a licence is a few hours of hazard education (and a short introduction if you intend to drive with a lay instructor) it is important that the test result, in terms of pass or fail, is reliable and valid. If this is not the case it could have detrimental effects on traffic safety. Examining all relevant aspects is beyond the scope of this licentiate thesis so I have focused on reliability.

Methods Reliability for both the theoretical and practical test results was examined. As these are very different types of tests the types of reliability examined also differed. In order to examine inter-rater reliability of the driving test 83 examiners were accompanied by one of five selected supervising examiners for a day of tests. All in all 535 tests were conducted with two examiners assessing the same performance. At the end of the day the examiners compared notes and tried to determine the reason for any inconsistencies. Both examiners and students also filled in questionnaires with questions about background and preparation. As for studying decision consistency and decision accuracy of the theory test, three test versions (a total of around 12,000 tests) were examined with the help of methods devised by Subkoviak (Subkoviak, 1976, 1988) and Hanson & Brennan (Brennan, 2004; Hanson & Brennan, 1990).

Results The results from two research studies concerning reliability were presented. Study I focused on inter-rater reliability in the driving test and in 93 per cent of cases the examiners made the same assessment. For the tests where their opinions differed there was no correlation to any of the background variables or other variables examined except for three, which had logical explanations and did not constitute a problem. Although there were cases where the differences were due to different stances on matters of interpretation the most common suggested cause was the placement in the car (back seat vs. front seat). Although the supervising examiners gave both praise and criticism as to how the test was carried out the study does not answer the question whether the tests were equal in terms of composition and difficulty.

In Study II the focus was on decision consistency and decision accuracy in the theory test. Three versions of the theory tests were examined and, on the whole, found to be fairly similar in terms of item difficulty and score distribution, but the mean was so close to the cut-score (i.e. the score required to pass) that the pass rate differed somewhat between versions. Agreement coefficients were around .80 for all test versions (between .79 and .82 depending on method). Classification accuracy indicated an .87 probability of a correct classification.

Conclusion It is important to examine the reliability and validity of the driving licence test since a misclassification can have serious consequences in terms of traffic safety. In the studies included here the rate of agreement between examiners is deemed as satisfactory. It would be preferable if the classification consistency and classification accuracy, as estimated by the methods used, were higher for the theory test, given its importance.

While reliability in terms of agreement between raters/examiners or consistency and accuracy of classification are routinely examined in other contexts, such as large-scale educational testing, this is not often done for the driving licence tests. At the same time, the methods used here can be transferred to contexts where such properties are generally not examined. Collecting information about test-takers and examiners, like in Study I, can provide evidence concerning possible bias.

Examining to what extent decisions are consistent is one important aspect of collecting evidence that shows that test results can be used to draw conclusions about driver competence. Still, regardless of outcome, validation is a process that never ends. There is always reason to examine various aspects and make further improvements. There are also many other relevant aspects to examine. A prerequisite for the validity of the score interpretation of a criterion-referenced test like this one is that the cut-score is appropriate and the content relevant. This should therefore be the subject of further research as the validation process continues.

The purpose of this study is to describe the trend regarding the pass rate for the driving test and examine to what degree changes of the pass rate can be linked to changes in the composition of the group of test-takers. Previously there have been no trend studies exploring changes with regard to the language of the theory test, i.e. whether the test-takers take the test in Swedish or another language so special attention will be given to this aspect.

The composition of the group of test-takers has changed quite a lot over the last 20 years. Test-takers can either register for the test via a driving school or on their own. The percentage of tests registered via a driving school has decreased, and in later years the number of driving tests not registered via a driving school following theory tests in other languages than Swedish has increased. The pass rate among the tests that were not registered via a driving school has decreased more than for those registered via a driving school. If the results are weighted to reflect the distribution of groups as it was in 1998 or 2010 one may conclude that if the total group of test-takers had had the same composition in later years the pass rate would probably not have decreased as much.

If theory tests are categorised according to whether they were carried out in Swedish or another language (translated or interpreted) results show that the percentage of tests in other languages has increased significantly since 2013. The percentage of driving tests following theory tests in other languages has also increased. Most of the driving tests after theory tests in other languages are carried out by test-takers who are 25 years or older and who have not registered for the test via a driving school. Such tests are also failed to a greater degree.

Many more tests are administered today than 10 or 20 years ago. The number of test-takers increased by 87 per cent between 1998 and 2016 while the number of tests increased by 137 per cent. A contributing factor is the change in 2008 that all were allowed to take the driving test regardless of result on the theory test (previously only those who passed could). If results on the driving test are divided by result on the preceding theory test (pass/fail) it turns out that the pass rate has decreased at roughly the same rate since 2012 for both those who failed and those who passed the theory test. However, a larger proportion of those who have passed the theory test also pass the driving test.

The changes in conditions for taking the driving test does not constitute the whole explanation. If comparing the number of driving tests in 2010 (when all were part of the new system) and 2016 the increase is 22 and 33 per cent respectively.

When performing analyses based on test-takers rather than tests it is also clear that the number of test-takers who are 25 or older and not registered via a driving school is increasing. At least from 2013 this increase is almost entirely due to test-takers who have taken the theory test in other languages than Swedish.  In 1998 24 per cent of the test-takers only took tests for which they had not registered via a driving school. In 2010 that percentage was 42 per cent an in 2016 53 per cent. Students who do not register for the test via a driving school also carry out more tests on average within the year than those who do.

Test-takers who carry out many driving tests have, to a greater extent than others, had the examiner intervene (e.g. by braking) during their first test attempt, which perhaps is a consequence of not being properly prepared.

To summarize: the trend with decreasing pass rate, an increasing proportion of older test-takers and of tests not registered via a driving school that has been visible over the last 20 years or so seems to be continuing. When looking at trends in a shorter perspective, the most notable change is the increase in theory tests that are taken in languages other than Swedish. These tests are, to a great extent, taken by older test-takers, not registered via a driving school, factors that are associated with a lower pass rate. Findings may inform policy makers and other stake-holders when it comes to understanding changes in the composition of test-takers and how possible efforts to increase pass rates could be targeted.

Syftet med denna studie är att beskriva trenden när det gäller godkännan­degrad och undersöka i vilken mån förändringar av andelen godkända på körprovet kan kopplas till förändringar i provtagar­gruppens sammansätt­ning. En aspekt som tidigare inte studerats är trend utifrån språk på kun­skapsprovet, varför den får särskild uppmärksamhet här.

Sammansättningen av provtagargruppen utifrån ålder och anmälnings­sätt har förändrats ganska mycket under de senaste 20 åren. Andelen privatanmälda körprov har ökat. Andelen godkända av de privatanmälda körproven har minskat mer än för de trafikskoleanmälda. Om man viktar resultaten för att återspegla den fördelning mellan grupper som rådde 1998 eller 2010 kan man konstatera att om provtagargruppen även fort­sättningsvis haft samma sammansättning skulle andelen godkända för­modligen inte ha minskat i samma utsträckning.

Om man delar in kunskapsprovet utifrån om de genomförts på svenska eller något annat språk (skriftligt eller tolkat) kan man se att andelen kunskapsprov på andra språk ökat sedan 2012. Om man delar in kör­proven utifrån språk på kunskapsprovet är det också fallet. Körprov efter kunskapsprov på andra språk är i högre grad genomförda av provtagare som är 25 år eller äldre samt anmälda privat. De godkänns också i lägre utsträckning.

Många fler körprov genomförs idag än tidigare. Antalet provtagare ökade med 87 procent mellan 1998 och 2016 medan antalet körprov ökat med 137 procent. En bidragande anledning till detta är att efter 2008 fick alla genomföra körprov oavsett resultat på kunskapsprovet. Om man delar upp körprovsresultaten utifrån resultatet på kunskapsprovet finner man att andelen godkända körprov sedan 2012 minskat i ungefär samma utsträckning för både de som fått godkänt och de som fått underkänt på kunskapsprovet. De som fått godkänt på kunskapsprovet i får dock i högre grad godkänt på körprovet.

Ändrade förutsättningar utgör dock inte hela förklaringen till det ökande antalet prov. Om man i stället jämför antalet genomförda körprov 2010 (då sammanhållet prov fått fullt genomslag) och 2016 är ökningen 22 respektive 33 procent.

Om man gör analyser utifrån provtagare i stället för prov kan man också se att antalet privatanmälda och antalet som är 25 år eller äldre ökar. Denna ökning består, åtminstone sedan 2013, nästan uteslutande av provtagare som genomfört kunskapsprovet på ett annat språk än svenska. 1998 gjorde 24 procent av provtagarna endast körprov som anmälts privat, 2010 var andelen 42 procent och 2016 53 procent. De privat­anmälda gör i genomsnitt fler prov under året än de trafikskoleanmälda.

Provtagare som genomför många prov har i högre utsträckning haft ett ingripande under sitt första provförsök, vilket skulle kunna tolkas som en följd av de inte är tillräckligt förberedda.

Sammanfattningsvis visar resultaten från analyserna i denna studie att trenden mot sjunkande andel godkända, allt fler privatanmälda och allt äldre provtagare verkar fortsätta. När man ser till trend i ett kortare per­spektiv är den mest anmärkningsvärda förändringen den ökande andelen kunskapsprov på andra språk än svenska. Dessa prov genomförs i stor ut­sträckning av äldre provtagare som anmälts privat, faktorer som är kopp­lade till en lägre godkännandegrad. Resultaten kan hjälpa makthavare och andra intressenter att förstå förändringar i provtagargruppens sam­mansättning och hur möjliga åtgärder för att öka godkännandegraden skulle kunna inriktas.

One important step for assessing the quality of a test is to examine the reliability of test score interpretation. Which aspect of reliability is the most relevant depends on what type of test it is and how the scores are to be used. For criterion-referenced tests, and in particular certification tests, where students are classified into performance categories, primary focus need not be on the size of error but on the impact of this error on classification. This impact can be described in terms of classification consistency and classification accuracy. In this article selected methods from classical test theory for estimating classification consistency and classification accuracy were applied to the theory part of the Swedish driving licence test, a high-stakes criterion-referenced test which is rarely studied in terms of reliability of classification. The results for this particular test indicated a level of classification consistency that falls slightly short of the recommended level which is why lengthening the test should be considered. More evidence should also be gathered as to whether the placement of the cut-off score is appropriate since this has implications for the validity of classifications.

Man kan köra upp på fler än 130 orter i Sverige, alla med olika trafik­miljöer, förarprövare och provtagare. Provtagarnas ålder och anmälnings­sätt skiljer sig åt på olika orter. På några orter genomförs få prov, på andra många. En del förarprövare genomför väldigt få prov, andra väldigt många. Vissa orter saknar vissa inslag i trafikmiljön, som exempelvis motorväg, järnvägskorsning eller cirkulationsplats. Trafikintensiteten på orterna skiljer sig åt. Kort sagt, det finns väldigt många aspekter som kan variera mellan enskilda prov. I rapporten presenteras olika sätt att åskåd­liggöra hur dessa skillnader mellan orter ser ut och några sätt att katego­risera orter.

Får detta konsekvenser för resultatet? Det är svårt att utreda eftersom flera variabler sannolikt samverkar och det är svårt att särskilja dem från varandra, och eftersom data ser ut som det gör. Dels är utfallet binärt – godkänt/underkänt – vilket begränsar vilka analyser som kan göras. Dels är det många kategorier inom variablerna ort och förarprövare. För att minska antalet kategorier kan man slå ihop dem till färre och större kate­gorier. Frågan är i så fall utifrån vilka kriterier och till hur många katego­rier. Av analyser framgår att provinnehållet skiljer sig åt mellan prov, såväl inom som mellan orter. Det är dock oklart om man mäter samma eller olika kvaliteter på olika orter, men det är nog inte så enkelt att säga att det är "lättare" att ta körkort på vissa orter än andra baserat på enkla jämförelser av godkännandegrad. Provtagarnas ålder och anmälningssätt, aspekter som vi vet påverkar godkännandegraden, skiljer sig också åt mellan orter.

There are more than 130 places in Sweden where driving tests can be carried out, with their own particular traffic environments, examiners and test-takers. The test-takers' ages and their preferred method of registering for the test vary between places. In some places only a few tests are carried out and in some a large number of tests. In some places certain aspects of the traffic environment are absent, like motorways, railway crossings or roundabouts. The intensity of traffic also varies between different locations. In short, there are many aspects that can vary between individual tests. In this report various ways of presenting such differences and some ways of categorizing places are explored.

Does this have consequences for results? It is difficult to analyse as several variables probably interact and are hard to untangle and due to the nature of the data. The result is binary – pass/fail – which limits what analyses can be made – and there are many categories in the variables place and examiner. In order to achieve fewer categories some can be collapsed into fewer and larger categories. The question is then how many categories and what criteria should be used to form them. When analyses are made we can see that the content of tests differ both within a particular location and between different places. It is, however, unclear if the same or different skills and abilities are measured in different places, but nevertheless not as simple as to claim that it is "easier" to obtain a licence in certain places than others based on simple comparisons of success rates. Test-takers' age and method of registration for the test, aspects that we know are connected to the percentage of passed tests, also differ between places.

Data har samlats i samband med körproven under många år. Ett av de mått som presenterats är andel godkända prov och denna andel har minskat sedan 1998. I en tidigare rapport diskuterades faktorer som kan påverka resultatet i termer av förändringar i provtagar­gruppens samman­sättning. Denna rapport redovisar utvecklingen under senare år och beskriver dessutom sammansättningen utifrån såväl personer som prov.

Flera av resultaten presenteras utifrån sexton delgrupper. Indelnings­grunderna har varit ålder, kön och anmälningssätt. Inom respektive grupp har resultaten varit tämligen stabila över tid. Det är bland de privatanmälda provtagarna man kan se en nedåtgående trend. Samtidigt har andelen privatanmälda prov ökat.

I och med att sammanhållet prov infördes 2008 fick även de som under­känts på kunskapsprovet genomföra körprov, vilket tidigare inte varit fallet. En sådan omställning får även konsekvenser för godkännande­graden som blev lite högre för de prov som föregåtts av godkända kunskapsprov och lite lägre för samtliga prov.

Om man viktar resultaten för att återspegla den fördelning mellan grupper som rådde 1998 kan man konstatera att om provtagargruppen hade haft samma sammansättning under de följande åren skulle andelen godkända totalt ha varit högre under dessa år än vad som nu är fallet.

Data har samlats i samband med körproven under många år. Ett av de mått som presenterats är andel godkända prov och denna andel har minskat sedan 1998. I en tidigare rapport diskuterades faktorer som kan påverka resultatet i termer av förändringar i provtagar­gruppens samman­sättning. Denna rapport redovisar utvecklingen under senare år och beskriver dessutom sammansättningen utifrån såväl personer som prov.

Flera av resultaten presenteras utifrån sexton delgrupper. Indelnings­grunderna har varit ålder, kön och anmälningssätt. Inom respektive grupp har resultaten varit tämligen stabila över tid. Det är bland de privatanmälda provtagarna man kan se en nedåtgående trend. Samtidigt har andelen privatanmälda prov ökat.

I och med att sammanhållet prov infördes 2008 fick även de som under­känts på kunskapsprovet genomföra körprov, vilket tidigare inte varit fallet. En sådan omställning får även konsekvenser för godkännande­graden som blev lite högre för de prov som föregåtts av godkända kunskapsprov och lite lägre för samtliga prov.

Om man viktar resultaten för att återspegla den fördelning mellan grupper som rådde 1998 kan man konstatera att om provtagargruppen hade haft samma sammansättning under de följande åren skulle andelen godkända totalt ha varit högre under dessa år än vad som nu är fallet.

The Swedish Road Administration has, over the years, gathered a lot of data in connection with the driving test. One of the statistics used is the percentage of passed tests and this number has decreased since 1998. In a previous report factors which can affect the result and possible interpretations of results were discussed in terms of to what degree changes in the percentage of passed tests were connected to changes in the composition of the group of test-takers. This is a follow-up of that study with more recent data which includes analyses of the composition of test-takers both based on individuals and on tests.

Many results are presented in terms of 16 categories based on test-takers’ age, sex and how they were registered for the test. Within each category the results are comparatively stable over time. It is among test-takers who did not register for the test via a driving school that you can discern a downward trend regarding the percentage of passed tests. The percentage of such test-takers in the group as a whole has increased.

In 2008 a major change was introduced as all who took the theory part of the test also took the driving test. Previously this was restricted to those who passed the theory test. Such a change affects the percentage of passed tests which got slightly higher for driving tests preceded by a passed theory test and slightly lower for driving tests preceded by failed theory tests.

If results are weighted to reflect the distribution of groups as it was in 1998 one may conclude that if the total group of test-takers had had the same composition as 1998 over the years that followed the total percentage of tests resulting in a pass would have been greater than what is now the case.

Den första september 2008 infördes en ny provmodell, ”sammanhållet prov”, för körkort behörighet B (personbil). Införandet av sammanhållet prov innebar att kunskapsprovet och körprovet bokas samtidigt och ge­nomförs samma dag eller nära i tid. Provtagarna börjar med att genom­föra kunskapsprovet och oavsett resultat på kunskapsprovet genomför de därefter körprovet. Provtagarna måste få godkänt på båda proven inom en tvåmånadersperiod från det första godkända provet för att få körkort. I annat fall får de göra om båda proven och betala nya provavgifter. Tidi­gare fick provtagarna inte genomföra körprovet förrän de godkänts på kunskapsprovet och resultatet på kunskapsprovet var giltigt ett år.

Efter införandet undersöktes om den nya modellen medfört att godkän­nandefrekvensen på provets två delar – kunskapsprovet respektive kör­provet – förändrats, samt om integrationen mellan proven förbättrats. Resultaten presenterades i en rapport 2010 (Alger, Henriksson, & Wänglund, 2010).

För att undersöka om de inledande positiva effekterna fortfarande håller i sig har nu en uppföljande studie genomförts där data från perioden före införandet av sammanhållet prov (år 2007) jämförs med stickprov från motsvarande perioder senare år.

När det gäller kunskapsproven är det en något högre andel av proven som godkänns efter införandet av sammanhållet prov. Den stora skillnaden mellan 2007 och senare år gäller dock andelen prov som anmälts till kun­skapsproven via trafikskola. Betydligt fler anmäls till kunskapsprovet via trafikskola efter införandet av sammanhållet prov, och de som är an­mälda via trafikskola klarar provet i högre utsträckning än de som anmäls privat. Genomsnittspoängen har ökat inom nästan alla delområden men skill­naderna är små.

När det gäller körprovet jämfördes resultaten för de körprov som genom­förts från december 2007 fram till sista februari 2008 med resultatet på de körprov som genomförts under motsvarande period senare år. Om man tar med samtliga prov, dvs. även de som dessförinnan underkänts på kunskapsprovet, blev 59 procent av körproven godkända på 2008/09 och 56 procent 2011/12. För att kunna göra en rättvisande jämförelse jämför­des resultaten för de körprov som föregåtts av ett godkänt kunskapsprov. I det gamla provsystemet, där alla som tog körprovet var godkända på kunskapsprovet, godkändes 59 procent. Av dem som blivit godkända på kunskapsprovet i det nya systemet blev 66 procent godkända på kör­provet 2008/09 och 62 procent 2011/12.

Analyserna visade också att det fanns ett samband mellan resultat på kunskapsprovet och körprovet då provtagare med högre poäng på kun­skapsprovet hade högre sannolikhet att bli godkända på körprovet.

Sammanfattningsvis kan man konstatera att den nedåtgående trenden för andelen godkända kunskapsprov under åren innan sammanhållet prov infördes verkar ha brutits. Andelen anmälda till kunskapsprovet via tra­fikskola ökade markant som en effekt av sammanhållet prov. Totalt sett är det en något större andel godkända kunskapsprov efter införandet av sammanhållet prov, och den genomsnittliga provpoängen har ökat något, även om skillnaderna är ganska små. När det gäller körprovet är det en något större andel godkända prov efter införandet av sammanhållet prov, om man ser till dem som först godkänts på kunskapsprovet. Räknar man med även dem som fått underkänt på kunskapsprovet är det en något lägre andel godkända körprov nu än innan sammanhållet prov, men minskningen är inte så stor som man hade kunnat befara. Totalt är det ett större antal prov som genomförs i systemet, men genomsnittligt antal prov per godkänt prov har bara ökat marginellt. Utifrån de data vi har till­gång till är det mycket få provtagare som genomför fler än ett godkänt delprov av samma sort för att de inte hunnit få godkänt kunskaps- och körprov inom två månader. På det stora hela har införandet av sam­manhållet prov inte medfört några dramatiska förändringar av resultat (undantaget den stora ökningen av kunskapsprov anmälda via trafik­skola). Även om vi inte vet hur det hade sett ut om sammanhållet prov inte införts tycks det som om genomförda förändringar haft en tydlig effekt genom att bryta de klart negativa trender som rådde innan dess.

On September 1, 2008 a new test model for the Swedish driving licence test was introduced. In the new test model the theory test and the driving test are viewed as integrated and they are booked at the same time. First the test-taker takes the theory test and then, on the same day or within a short time period, he or she takes the driving test. The driving test shall always be performed, irrespective of the result on the theory test. In order to obtain a driving licence the test-taker must pass both the theory test and the driving test within a two-month period from the point when the first test is passed – otherwise new fees must be paid and both tests must be retaken. Previously only the test-takers who had passed the theory test were allowed to take the driving test and the result on the theory test was valid for a year.

After the new model was introduced a study was conducted to examine whether the change had resulted in an improved pass-rate for the two parts of the test – the theory test and the driving test – and whether the integration of the test parts had improved. The results were presented in a report in 2010 (Alger, Henriksson, & Wänglund, 2010).

In order to examine whether the initial positive effects are lasting a follow-up study has now been conducted where data from the period before the change (2007) are compared with samples from the corresponding periods in later years.

As for the theory test a somewhat higher percentage of the tests result in a pass after the introduction of the new test model. However, the major difference between 2007 and later years is the percentage of tests registered via a driving school. The number of tests registered via driving schools is significantly higher after the change and the test-takers registered for the test in this manner are more likely to pass the test than those who registered themselves directly. The mean score has increased for almost all competence areas, but the differences are small.

When it comes to the driving test the results of tests carried out between December 2007 and the end of February 2008 were compared with the results of the driving tests carried out during the corresponding period in later years. If all tests are included, i.e. also those following on a failed theory test, 59 per cent of the tests were passed in 2008/09 and 56 per cent in 2011/12. In order to make a fair comparison the results of the driving tests preceded by passed theory tests were compared. In the old system, where everybody who took the driving test first had passed the theory test 59 per cent of the driving tests resulted in a pass. Out of those who had passed the theory tests in the new system 66 per cent passed the driving test 2008/09 and 62 per cent 2011/12.

The analyses also showed that there was a connection between results on the theory test and the driving test as test-takers with a high score on the theory test were more likely to pass the driving test.

In summary the downward trend for the percentage of passed theory tests that was apparent before the introduction of the new model seems to have been broken. There was a marked increase in the percentage of tests registered via a driving school in connection with the change. The total percentage of passed theory tests has increased somewhat after the introduction of the new test model and the mean score has increased even though the difference is rather small. When it comes to the driving test the percentage of passed tests has increased after the introduction of the new system if you compare the driving tests preceded by passed theory tests. If the driving tests after failed theory tests are also included the percentage of passed tests has decreased, albeit perhaps not as much as could be feared. All in all more tests are carried out in the new system, but the average number of tests per passed test has only increased marginally. From the data we have access to, only a few test-takers have passed the same type of test more than once as a consequence of failing to pass both the theory test and the driving test within a two-month period. In closure the new system has not brought about any major changes (apart from the substantial increase of theory tests registered via a driving school). Even though we cannot know what the situation would have been without the introduction of the new test model, it seems like the changes carried out have had an effect in breaking the clearly negative trends prevailing before the change.

The purpose of this study was to examine the consistency of examiner assessments of test-takers' performance on the Swedish driving test. The study included 535 tests and was designed so that the ordinary examiner and a supervising examiner assessed the same test-taker. The assessment was done on a two-grade rating scale (pass/fail). Since the result can be affected by factors associated with the test-taker and the two examiners, questionnaires were developed and these were filled in by the test-takers and the examiners. Information about the administration of the test was collected via a specially designed form filled in by the supervising examiner. Using this form, the ordinary examiners' performance was rated on a number of aspects. The result from the study indicated that the agreement between the assessments was very good. For 93% of the tests the two examiners chose the same mark on the two-grade scale. In the cases where ratings differed, the analysis indicated only a few systematic differences among variables designed to provide possible explanations for differences in opinion. However, none of these was problematic with respect to consistency of assessment. Results indicated that most tests were carried out in a satisfactory manner.

The aim of this report is to examine the reliability of data from the practical driving test for category B 2009-2011 and study the composition of the group of test-takers and results and changes in pass rates over time during the period. Based on the data checks done it can be concluded that data is reliable. Data from 2011 does not comprise the entire year, but when data for the equivalent period previous years is compared with the year as a whole the differences are negligible.

There are certain differences between groups as to the proportion of passed tests. A larger proportion of test-takers below the age of 20 pass the test compared to older test-takers. A larger proportion of test-takers who were registered by a driving school passed than those who registered themselves. If you divide the test-takers by gender and type of registration a somewhat larger percentage of the men passed the driving test. As for average number of mistakes there are no major differences between the sexes except for manoeuvring.

As for the content of the test, the most common areas to test are street crossing, driving towards a goal and reversing. Motorway, lanes, roundabouts and signalled crossings are more commonly tested at the main offices, while narrow winding roads, railway crossing and turning off a main road are more common in the other places. Street crossing, lanes and motorway are the situations where the largest percentage of test-takers fails. The percentage of fails for each curricular module are fairly similar for main offices and other offices, but the proportion of fails is higher for roundabouts, driving towards a goal and railway crossings at the main offices. The requirement for attention and identifying risks is the hardest for test-takers to fulfil.

When comparing the results with previous years we find that the group differences are fairly similar, but the percentage of tests registered via a driving school continues to decrease. It is more common to include reversing in the test. Even though test-takers who has failed the theory tests are now allowed to take the practical driving test the percentage of passed tests remains on the same level for tests registered via driving schools and has only decreased by a couple of percentage points for the remaining tests.

Syftet med denna rapport är att undersöka tillförlitligheten hos körprovs­data för behörighet B 2009-2011 och att analysera förändringar i prov­tagargruppens sammansättning och godkännandefrekvenser under tids­perioden. Utifrån de kontroller av data som genomförts kan konstateras att tillförlitligheten är stor. Data för 2011 omfattar inte hela året men när man jämför motsvarande period fr tidigare år med året som helhet är skillnaderna försumbara.

Det finns vissa skillnader mellan grupper när det gäller andelen godkända prov. Provtagare under 20 års ålder godkändes i högre grad än äldre provtagare. Provtagare som anmälts via trafikskola godkändes i högre grad än privatanmälda och hade även färre anmärkningar i genomsnitt. Om man delar upp efter kön och anmäl­ningssätt var det något större andel av männen som godkändes på förar­provet. När det gäller genom­snittligt antal anmärkningar är det inga större könsskillnader förutom för området manövrering.

När det gäller provets innehåll är gatukorsning, körning mot mål och backning de vanligaste områdena att pröva. Prövning av motorväg, kör­fält, cirkulationsplats och signalkorsning är vanligare förekommande på huvudorter än mottagningsorter, medan förhållandet är det omvända för smal krokig väg, järnvägskorsning och sväng från landsväg. Gatukors­ning, körfältskörning och motorväg är de moment där störst andel prov underkänns. Andelen underkännanden inom respektive moment är rätt lika för huvudort och mottagningsort även om underkännanden är vanli­gare för cirkulationsplats, självständig körning och järnvägskorsning i huvudort. Avsökningsrutiner och riskidentifiering är det kursplanemål som provtagarna har svårast att uppnå.

När man relaterar dessa resultat till tidigare år kan man konstatera att gruppskillnaderna är tämligen likartade, men andelen trafikskoleanmälda prov fortsätter att minska. Trots att även de som underkänts på kun­skapsprovet nu får genomföra körprovet ligger andelen godkända prov anmälda via trafikskola kvar på samma nivå och för privatanmälda prov är den bara ett par procentenheter lägre än tidigare.

I oktober 2009 infördes krav på förarbevis för att köra moped klass II. För att få förarbevis måste provtagarna genomgå en obligatorisk utbildning och klara ett kunskapsprov. För att få tillstånd att förrätta prov för moped klass II fick provförrättare lämna in ett exempel på ett prov till Transportstyrelsen tillsammans med ansökan. Vi har analyserat ett urval av dessa prov. Dels gjordes en innehållsanalys av frågorna i proven för att undersöka i vilken utsträckning de täcker det innehåll som stipulerats i föreskriften, och dels undersöktes om de inlämnade proven följer riktlinjer om antal frågor samt hur frågorna följer generella riktlinjer för frågekonstruktion.

Bland de 34 utvalda provförrättarna hade 11 konstruerat egna prov, övriga angav att de använde de prov som Sveriges Trafikskolors Riksförbund (STR) utformat. Föreskriften (TSFS 2010:80) anger att provet ska innehålla 25 till 35 uppgifter. Samtliga studerade prov innehöll minst 25 uppgifter. Med ett par undantag förekommer uppgifter inom samtliga fyra innehållsområden som nämns i föreskriften. Tyngdpunkten ligger på området Trafikregler. Målen för utbildningen och målen för provet i föreskriften stämmer inte helt överens, vilket förmodli­gen är anledningen till att många uppgifter gäller innehåll som inte definieras i föreskriftens krav på provet. De flesta av dessa kan dock kopplas till utbildningsmål i föreskriften.

När det gäller vilka brister som uppträder kan man exempelvis konstatera att vissa frågor kunde vara mer tydligt formulerade, en del svarsalternativ avviker eller är för osannolika, vilket gör antalet reella svarsalternativ färre, vilket är olyckligt.

Både innehåll och utformning av proven varierar avsevärt varför det vore bäst att låta Transportstyrelsen utforma även provet för förarbevis för moped klass II. Det skulle innebära ökad enhetlighet och likvärdighet och därmed en mer rättssäker prövning. Det skulle vara möjligt att sträva efter parallella prov. Det skulle också göra det lättare att övervaka resul­taten och kvaliteten i provet över tid än vad som är möjligt med nuva­rande tillsynsförfarande.

In October 2009 a requirement to obtain a driver’s certificate was introduced for riding a moped class II. In order to obtain a driver’s certificate test-takers are required to complete a compulsory course and pass a test. Those who applied for permission to arrange tests for moped class II had to submit an example of a test to the Swedish Transport Agency with their applications. We have studied a sample of those tests. The content of the tests were analysed in order to determine to what extent the stipulated content of the regulations was covered. Compliance with general guidelines for item construction and whether the regulations concerning number of questions were met was also examined.

Among the 34 selected examiners 11 had developed their own test. The remaining examiners stated that they used the test developed by the Swedish National Association of Driving Schools (STR). Regulations for the test (TSFS 2010:80) stipulate that it should consist of 25 to 35 items. All tests in the study contained at least 25 items. With a couple of exceptions there are items from all four content areas outlined in the regulations. The main emphasis in the tests is on Traffic rules. The goals stipulated for the training and the goals stipulated for the test do not correspond entirely which probably is the reason why many items contain content not defined in the requirements for the test. However, most of such items can be linked to goals for the training.

As to shortcomings in the test some items could for example have been phrased more clearly and contained more information. Some response options deviate from the others or are just too unlikely which unfortunately makes the number of selectable options smaller.

Both content and design of the tests vary considerably why it would be best to let the Swedish Transport Agency develop the test for the conditional driving licence for mopeds class II. The test would be more uniform and equivalent, which would mean a fairer testing. It would be possible to strive for parallel tests. It would also be easier to supervise the results and the quality of the tests than is possible with the current system of supervision.

År 2009 infördes krav på förarbevis för att köra moped klass II. För att få förarbevis måste provtagarna genomgå en obligatorisk utbildning och klara ett kunskapsprov. I denna rapport redovisas andra delen i en utvärdering av provverksamheten för förarbevis för moped klass II. I första delen i projektet studerades innehåll och kvalitet i ett antal prov.

I denna andra del av projektet fokuseras konstruktion eller val av prov och genomförandet av prövningen. Först utformades en intervjuguide och en webbenkät, varefter ett erbjudande gick ut till 33 provförrättare om att svara på enkäten eller delta i en telefonintervju. 22 provförrättare besva­rade enkäten. Ytterligare två provkonstruktörer intervjuades.

Alla vi fick kontakt med använder samma prov som de bifogade sin ansökan om att få anordna kunskapsprov. Femton av dem använder det prov (i två versioner) som konstruerats av Sveriges Trafikskolors Riksför­bund (STR) och är rätt nöjda med det. Uppgifterna i STR:s prov kon­strueras av en frågegrupp som träffas några gånger per år för att konstru­era och granska uppgifter som sedan läggs in i en databank och märks med aktuell behörighet. Senare granskas uppgifterna ytterligare. Då klass II var en tillkommande behörighet fanns inte någon sådan märkning i databasen, så en tjänsteman fick manuellt gå in och söka ut lämpliga uppgifter till proven som producerades 2009.

De flesta provförrättare som använde egenkonstruerade prov angav att de valt att göra det för att det då inte fanns andra prov att tillgå. Några menade att det passade dem bäst att utforma provet själva. Provkon­struktionsprocessen beskrivs inte särskilt utförligt, men det nämns ofta att man utgått från Transportstyrelsens krav.

STR:s prov genomförs, med ett undantag, vid dator, medan de egenkon­struerade proven är papper-och-penna prov. Många gånger genomförs provet med en provtagare per gång, och ingen har provtillfällen där mer än 16 personer prövas. Provgenomförandet verkar följa reglerna, men fyra provförrättare uppger att de bara har en version av provet (ska finnas minst två).

Några av provförrättarna undersöker vilka frågor provtagarna har pro­blem med för att kunna anpassa prov eller undervisning. Det är vanligt att kräva att provtagare som underkänns på provet pluggar mer hemma innan de får göra omprov, men de flesta klarar provet vid första försöket.

In 2009 a requirement to obtain a driver’s certificate was introduced for riding a class II moped. In order to obtain a driver’s certificate test-takers are required to complete a compulsory course and pass a test. In this report the second part of an evaluation of testing practices for the driver’s certificate for moped class II is presented. In the first part of the project the content and quality of a number of tests was examined.

This second part of the project focuses on the development or selection of tests and the administration of the tests. After an interview guide and a web questionnaire were designed 33 test administrators were asked to fill in a questionnaire or take part in a telephone interview. 22 test administrators filled in the questionnaire. Another two test constructors were interviewed.

All  the test administrators we reached still use the test enclosed with their application for administering tests. Fifteen of them use the test constructed by the Swedish National Association of Driving Schools (STR) and are pretty happy with that. The items in STR’ s test are constructed by a group who meet up a couple of times per year to develop and review items which are then placed in a data base, marked with the appropriate driving licence category. Later on, the items are reviewed further. Since class II was an additional category there was no such marking in the data base so an employee had to manually search for and pick out suitable items for the tests produced in 2009.

Most test administrators who used self-constructed tests stated that they had chosen to do so since there were no other tests available at the time. Some stated that it suited them best to design the test themselves. The descriptions of the test development process are not particularly detailed, but often mention using the requirements from the Swedish Transport Agency as a starting point.

STR’s tests are, with one exception, administered via computer, while the other tests are pen-and-paper tests. Often the tests are administered to one test-taker at a time, and nobody administers them to groups of more than 16 people. Test administration seems to adhere to the rules, but four test administrators claim that there is only one version of the test (should be at least 2).

Some of the test administrators examine what items the test-takers have problems with in order to adapt their teaching or the test. It is common to require failed test-takers to study more at home before retaking the test, but most test-takers pass at their first attempt.