Umeå universitets logga

umu.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
An empirical configuration study of a common document clustering pipeline
Umeå universitet, Teknisk-naturvetenskapliga fakulteten, Institutionen för datavetenskap. Adlede, Umeå, Sweden.ORCID-id: 0000-0002-4366-7863
Adlede, Umeå, Sweden.ORCID-id: 0000-0001-6601-5190
Umeå universitet, Teknisk-naturvetenskapliga fakulteten, Institutionen för datavetenskap.ORCID-id: 0000-0001-7349-7693
2023 (Engelska)Ingår i: Northern European Journal of Language Technology (NEJLT), ISSN 2000-1533, Vol. 9, nr 1Artikel i tidskrift (Refereegranskat) Published
Abstract [en]

Document clustering is frequently used in applications of natural language processing, e.g. to classify news articles or create topic models. In this paper, we study document clustering with the common clustering pipeline that includes vectorization with BERT or Doc2Vec, dimension reduction with PCA or UMAP, and clustering with K-Means or HDBSCAN. We discuss the inter- actions of the different components in the pipeline, parameter settings, and how to determine an appropriate number of dimensions. The results suggest that BERT embeddings combined with UMAP dimension reduction to no less than 15 dimensions provides a good basis for clustering, regardless of the specific clustering algorithm used. Moreover, while UMAP performed better than PCA in our experiments, tuning the UMAP settings showed little impact on the overall performance. Hence, we recommend configuring UMAP so as to optimize its time efficiency. According to our topic model evaluation, the combination of BERT and UMAP, also used in BERTopic, performs best. A topic model based on this pipeline typically benefits from a large number of clusters.

Ort, förlag, år, upplaga, sidor
Linköping University Electronic Press, 2023. Vol. 9, nr 1
Nyckelord [en]
document clustering, topic modeling, dimension reduction, clustering, BERT, doc2vec, UMAP, PCA, K-Means, HDBSCAN
Nationell ämneskategori
Språkteknologi (språkvetenskaplig databehandling)
Identifikatorer
URN: urn:nbn:se:umu:diva-214455DOI: 10.3384/nejlt.2000-1533.2023.4396OAI: oai:DiVA.org:umu-214455DiVA, id: diva2:1797692
Forskningsfinansiär
Stiftelsen för strategisk forskning (SSF), ID19-0055Tillgänglig från: 2023-09-15 Skapad: 2023-09-15 Senast uppdaterad: 2023-09-15Bibliografiskt granskad

Open Access i DiVA

fulltext(2698 kB)161 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 2698 kBChecksumma SHA-512
ece569a5bf1ec48d0ca8a50d3ae983ab9adb8b1397fbb7f20a34eba36d8976d53e15c38dd449d953b36b551ceca09ed1c22b4c59d8d12d44ba19e4f6bbd66bdb
Typ fulltextMimetyp application/pdf

Övriga länkar

Förlagets fulltext

Person

Eklund, AntonDrewes, Frank

Sök vidare i DiVA

Av författaren/redaktören
Eklund, AntonForsman, MonaDrewes, Frank
Av organisationen
Institutionen för datavetenskap
I samma tidskrift
Northern European Journal of Language Technology (NEJLT)
Språkteknologi (språkvetenskaplig databehandling)

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 161 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 391 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf