Umeå universitets logga

This thesis explores fine-tuning of the encoder-only transformer BERT for the purpose of extracting ownership relationships between companies from Swedish texts in annual reports. Two solutions were developed and compared. Solution 1 used token classification with labels encoding both company names and their relationships simultaneously. Solution 2 was instead divided into two stages. First, token classification to extract company names and then sequence classification to classify the relationships between extracted company pairs. Both solutions used a pre-trained Swedish BERT model, though Stage 1 of Solution 2 was additionally evaluated using a Swedish BERT model already fine-tuned for named entity recognition. 

The results show that both solutions successfully extract ownership relationships, with Solution 2 achieving higher performance. This thesis presents two viable approaches to relationship extraction and discusses possible improvements.

Denna masteruppsats utforskar finjustering av språkmodellen BERT i syfte att extrahera ägandeförhållanden mellan företag från svenska texter i årsredovisningar. Två lösningar utvecklades och jämfördes. Lösning 1 använde ’token’ klassificering med etiketter som samtidigt kodade både företagsnamn och deras ägandeförhållanden. Lösning 2 delades i stället upp i två delar. Först användes ’token’ klassificering för att extrahera företagsnamn och därefter sekvens klassificering för att klassificera relationerna mellan de extraherade företagsparen. Båda lösningarna använde en förtränad svensk BERT modell, steg 1 i lösning 2 utvärderades dock även med en Svensk BERT modell som redan finjusterats för namngiven entitetsigenkänning.

Resultaten visar att båda lösningarna lyckas med att extrahera ägandeförhållanden, lösning 2 presterar dock bättre. Denna masteruppsats presenterar två användbara metoder för relationsextraktion och diskuterar möjliga förbättringar.