Umeå universitets logga

Machine learning models are widely used in insurance fraud detection due to their strong predictive performance. However, many of these models operate as black boxes, making their decisions difficult to interpret and limiting their practical usefulness in decision-making processes.

This thesis investigates methods for improving the explainability of fraud detection models. In particular, post-hoc explanations using SHAP are compared with an inherently interpretable model, the Explainable Boosting Machine. The approaches are evaluated in terms of predictive performance, agreement in explanations, and stability. An experiment was also conducted to test if explanations to predictions could reduce processing times in claims handling processes.

The results show that the EBM achieves predictive performance comparable to the black-box model while providing more transparent and directly interpretable predictions. While explanations did not significantly improve decision efficiency in the experimental setting, they were perceived as valuable by users and may prove beneficial in future implementations.

Overall, the findings suggest that interpretable models can offer a practical alternative to black-box models in insurance fraud detection, enabling greater transparency without substantial loss in performance.

Maskininlärningsmodeller används i stor utsträckning för att upptäcka försäkringsbedrägerier tack vare deras kraftfulla prediktiva förmåga. Många av dessa modeller fungerar dock som så kallade svarta lådor, vilket gör deras beslut svåra att tolka och kan begränsa deras praktiska användbarhet i beslutsprocesser.

Denna studie undersöker metoder för att förbättra förklarbarheten hos modeller för bedrägeridetektion. I synnerhet jämförs post-hoc-förklaringar med hjälp av SHAP med en i grunden tolkbar modell, Explainable Boosting Machine (EBM). Metoderna utvärderas med avseende på prediktiv prestanda, överensstämmelse mellan förklaringar och stabilitet. Ett experiment genomfördes även för att undersöka om förklaringar till modellprediktioner kunde reducera handläggningstider i skaderegleringsprocessen.

Resultaten visar att EBM uppnår en prediktiv prestanda som är jämförbar med black box-modellen, samtidigt som den ger mer transparenta och direkt tolkbara förklaringar. Även om förklaringar inte signifikant förbättrade beslutseffektiviteten i den experimentella studien, upplevdes de som värdefulla av användarna och kan vara till nytta i framtida implementationer.

Sammanfattningsvis tyder resultaten på att tolkbara modeller kan utgöra ett praktiskt alternativ till black box-modeller inom försäkringsbedrägeridetektion, genom att möjliggöra ökad transparens utan någon större förlust i prestanda.