umu.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Improving Recurrent Neural Networks with Predictive Propagation for Sequence Labelling
The Australian E-Health Research Centre, CSIRO, Brisbane, QLD 4026, Australia.
(The Australian E-Health Research Centre, CSIRO, Brisbane, QLD 4026, Australia)
(The Australian E-Health Research Centre, CSIRO, Brisbane, QLD 4026, Australia)
Umeå universitet, Teknisk-naturvetenskapliga fakulteten, Institutionen för datavetenskap. (Database and Data Mining Group)ORCID-id: 0000-0001-8820-2405
Visa övriga samt affilieringar
2018 (Engelska)Ingår i: Neural Information Processing: 25th International Conference, ICONIP 2018, Siem Reap, Cambodia, December 13-16, 2018, Proceedings, Part I, Springer, 2018, s. 452-462Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

Recurrent neural networks (RNNs) is a useful tool for sequence labelling tasks in natural language processing. Although in practice RNNs suffer a problem of vanishing/exploding gradient, their compactness still offers efficiency and make them less prone to overfitting. In this paper we show that by propagating the prediction of previous labels we can improve the performance of RNNs while keeping the number of parameters in RNNs unchanged and adding only one more step for inference. As a result, the models are still more compact and efficient than other models with complex memory gates. In the experiment, we evaluate the idea on optical character recognition and Chunking which achieve promising results.

Ort, förlag, år, upplaga, sidor
Springer, 2018. s. 452-462
Serie
Lecture Notes in Computer Science ; vol 11301
Nyckelord [en]
Recurrent neural networks, NLP, Sequence labelling
Nationell ämneskategori
Språkteknologi (språkvetenskaplig databehandling)
Forskningsämne
datalogi
Identifikatorer
URN: urn:nbn:se:umu:diva-154482DOI: 10.1007/978-3-030-04167-0_41ISBN: 978-3-030-04166-3 (tryckt)ISBN: 978-3-030-04167-0 (digital)OAI: oai:DiVA.org:umu-154482DiVA, id: diva2:1272344
Konferens
The 25th International Conference on Neural Information Processing (ICONIP-2018), Siem Reap, Cambodia, December 13-16, 2018
Tillgänglig från: 2018-12-19 Skapad: 2018-12-19 Senast uppdaterad: 2019-08-07Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltext

Personposter BETA

Vu, Xuan-Son

Sök vidare i DiVA

Av författaren/redaktören
Vu, Xuan-Son
Av organisationen
Institutionen för datavetenskap
Språkteknologi (språkvetenskaplig databehandling)

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
isbn
urn-nbn

Altmetricpoäng

doi
isbn
urn-nbn
Totalt: 104 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf