Umeå universitets logga

Shape Constrained Additive Models (SCAMs) is an extension of Generalized Additive Models (GAMs) that incorporate shape restrictions, such as monotonicity orconvexity, on the smooth functions describing non-linear relationships between predictor variables and the response variable. Model coefficient estimation of SCAMs is based on maximizing a penalized log-likelihood, which leads to a non-linear optimization problem due to the imposed constraints. Newton method is a common method used for this task, but requires explicit calculation of the Hessian matrix, which can be computationally expensive in more complex settings. Quasi-Newton methods such as BFGS offer a different approach, avoiding this cost by approximating the Hessian, potentially improving computational efficiency at the expense of additional iterations.

This thesis presents a simulation-based comparison of Newton’s and quasi-Newton optimization method BFGS for estimating model coefficients of SCAMs. These methods are evaluated by comparing predictive accuracy and computational time across different sample sizes, noise levels and model specifications.

The results show that both methods achieve similar predictive accuracy, indicating equivalent optimum convergence. However, Newton method consistently outperforms BFGS in terms of computational time under considered simulation settings. The relative performance of BFGS improves in higher-dimensional settings, indicating that the relative computational advantages may become more pronounced when model complexity increases.

Shape Constrained Additive Models (SCAMs) är en förlängning av Generalized Additive Models (GAMs), vilket inför formberänsningar, såsom monotonicitet eller konvexitet, på de släta funktionerna som beskriver ett icke-linjärt förhållande mellan prediktorvariabler och responsvariabeln. Skattning av modellkoefficienterna i SCAMs baseras på maximering av en penaliserad log-likelihood, vilket resulterar i ett icke-linjärt optimeringsproblem på grund av de införda begränsningarna. Den vanligaste metoden för detta optimeringsproblem är Newtons metod, men den kräver explicit beräkning av Hessianmatrisen, vilket är beräkningsmässigt kostsamt i mer komplexa sammanhang. Däremot så erbjuder Quasi-Newton metoder såsom BFGS ett mer kostnadseffektivt alternativ genom att approximera Hessianmatrisen, men den kräver fler iterationer.

Rapportens syfte är att presentera en simuleringsbaserad jämförelse mellan Newtons metod och quasi-Newton-metoden BFGS för skattning av modellkoefficienter i SCAM. Utvärderingen av metoderna sker genom jämförelse av deras beräkningstid, samt förmåga att prediktera för olika antal observationer, brusnivåer och modellspecifikationer.

Resultaten indikerar att både metoderna uppvisar en likvärdig förmåga i att prediktera, vilket tyder på att modellerna kovergerar mot likvärdiga optimum. Däremot har Newtonmetoden genomgående kortare beräkningstid än BFGS-metoden i den valda simuleringsmiljön. Den relativa skillnaden i beräkningstid mellan Newton och BFGS-metoden minskar däremot när dimensionen ökar. Detta tyder på att BFGS relativa beräkningsmässiga fördelar blir mer framträdande i mer komplexa modeller.