Umeå universitets logga

umu.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Convex formulations for training two-layer ReLU neural networks
Umeå universitet, Teknisk-naturvetenskapliga fakulteten, Institutionen för matematik och matematisk statistik.
Department of Computing, Imperial College London, United Kingdom.
Umeå universitet, Teknisk-naturvetenskapliga fakulteten, Institutionen för matematik och matematisk statistik.ORCID-id: 0000-0001-7320-1506
2025 (Engelska)Ingår i: 13th International Conference on Learning Representations, ICLR 2025, Curran Associates, Inc., 2025, s. 30682-30704Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

Solving non-convex, NP-hard optimization problems is crucial for training machine learning models, including neural networks. However, non-convexity often leads to black-box machine learning models with unclear inner workings. While convex formulations have been used for verifying neural network robustness, their application to training neural networks remains less explored. In response to this challenge, we reformulate the problem of training infinite-width two-layer ReLU networks as a convex completely positive program in a finite-dimensional (lifted) space. Despite the convexity, solving this problem remains NP-hard due to the complete positivity constraint. To overcome this challenge, we introduce a semidefinite relaxation that can be solved in polynomial time. We then experimentally evaluate the tightness of this relaxation, demonstrating its competitive performance in test accuracy across a range of classification tasks.

Ort, förlag, år, upplaga, sidor
Curran Associates, Inc., 2025. s. 30682-30704
Nyckelord [en]
copositive programming, semidefinite programming, neural networks
Nationell ämneskategori
Artificiell intelligens
Identifikatorer
URN: urn:nbn:se:umu:diva-236599Scopus ID: 2-s2.0-105010230817ISBN: 979-8-3313-2085-0 (digital)OAI: oai:DiVA.org:umu-236599DiVA, id: diva2:1945107
Konferens
International Conference on Learning Representations (ICLR), Singapore, April 24-28, 2025
Forskningsfinansiär
Wallenberg AI, Autonomous Systems and Software Program (WASP)Knut och Alice Wallenbergs StiftelseVetenskapsrådetTillgänglig från: 2025-03-17 Skapad: 2025-03-17 Senast uppdaterad: 2025-07-18Bibliografiskt granskad

Open Access i DiVA

Accepted paper(4944 kB)0 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 4944 kBChecksumma SHA-512
e917859d9c98cf6d56cd2d6efeed9c2541ca3fdf4a689f46fabe75be9758c45207447f73b0dae74b50611a8176dc7e86750e54ba5d58cefcf9f2f2d204b9fe46
Typ fulltextMimetyp application/pdf

Övriga länkar

ScopusAccepted paper

Person

Prakhya, KarthikYurtsever, Alp

Sök vidare i DiVA

Av författaren/redaktören
Prakhya, KarthikYurtsever, Alp
Av organisationen
Institutionen för matematik och matematisk statistik
Artificiell intelligens

Sök vidare utanför DiVA

GoogleGoogle Scholar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

isbn
urn-nbn

Altmetricpoäng

isbn
urn-nbn
Totalt: 56 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf