Umeå universitets logga

This thesis investigates how machine learning and survival analysis can be used to support machine failure prediction in industrial production using operational data from one of Dometic’s production sites. The study uses historical maintenance records, power consumption data, and production volume data. The aim is to evaluate whether limited operational data, in the absence of detailed condition-monitoring sensor data, can provide useful predictive information for maintenance and production planning.

Logistic Regression, Random Forest, XGBoost, and Bayesian Parametric Survival models were evaluated and compared. The classical machine learning models were formulated as binary classification models for predicting asset failure within 72 hours, while the survival analysis modeled time to failure using Weibull, Exponential, and Log-normal distributions.

The final comparison focused on the practical usefulness of Logistic Regression and the Bayesian Survival model rather than treating them as directly comparable models. The models differed in terms of data structure, feature selection, and prediction formulation. The Bayesian Survival model achieved higher recall, precision, and F1-score at the fixed classification threshold, indicating that it identified a larger share of actual failures. However, this came at the cost of a very high false-positive rate, meaning that a large share of non-failure observations were incorrectly classified as failures.

Logistic Regression was selected as the final model because it provided a more suitable balance between predictive performance, false-alarm control, interpretability, and practical usefulness. On the test set, the tuned Logistic Regression model achieved an accuracy of 69.30% and a ROC-AUC of 75.64%. Although the model missed a substantial share of actual failures, it produced fewer false alarms and showed a stronger ability to distinguish between failure and non-failure observations across classification thresholds.

The most important predictive variables were related to recent and historical maintenance activity, together with selected power-consumption features. The results indicate that available operational data can support failure prediction, but that predictive performance is limited by the absence of detailed condition-monitoring data. The model should therefore be used as a decision-support tool rather than as an automatic trigger for maintenance decisions.

Denna studie undersöker hur maskininlärning och överlevnadsanalys kan användas för att stödja prediktion av maskinfel inom industriell produktion, baserat på operativ data från en av Dometics produktionsanläggningar. Studien använder historiska underhållsärenden, data om energiförbrukning och produktionsvolym. Syftet är att utvärdera om begränsad operativ data, i avsaknad av detaljerad sensordata för tillståndsövervakning, kan bidra med användbar prediktiv information för underhålls- och produktionsplanering.

Logistisk Regression, Random Forest, XGBoost och Bayesianska parametriska överlevnadsmodeller utvärderades och jämfördes. De klassiska maskininlärningsmodellerna formulerades som binära klassificeringsmodeller för att prediktera maskinfel inom 72 timmar, medan överlevnadsanalysen modellerade tid till fel med hjälp av Weibull-, exponential- och log-normalfördelningar.

Den slutliga jämförelsen fokuserade på den praktiska användbarheten hos Logistisk Regression och den Bayesianska överlevnadsmodellen, snarare än att behandla dem som direkt jämförbara modeller. Modellerna skilde sig åt avseende datastruktur, feature selection och prediktionsformulering. Den Bayesianska överlevnadsmodellen uppnådde högre recall, precision och F1-värde vid den fasta klassificeringströskeln, vilket indikerar att den identifierade en större andel av de faktiska felen. Detta skedde dock till priset av en mycket hög false-positive rate, vilket innebär att en stor andel av observationerna utan fel felaktigt klassificerades som fel.

Logistisk Regression valdes som slutlig modell eftersom den gav en mer lämplig balans mellan prediktiv prestanda, kontroll av falsklarm, tolkningsbarhet och praktisk användbarhet. På testdatan uppnådde den logistiska regressionsmodellen, där hyperparametrar blivit optimerade, en klassificeringsnoggrannhet på 69.30% och en ROC-AUC på 75.64%. Även om modellen missade en betydande andel av de faktiska felen, genererade den färre falsklarm och visade en starkare förmåga att skilja mellan fel- och icke-felobservationer över olika klassificeringströsklar.

De viktigaste prediktiva variablerna var relaterade till nyligen skedd och historisk underhållsaktivitet, tillsammans med en del variabler kopplade till energiförbrukning. Resultaten indikerar att tillgänglig operativ data kan stödja prediktion av maskinfel, men att den prediktiva prestandan begränsas av avsaknaden av detaljerad sensordata för tillståndsövervakning. Modellen bör därför användas som ett beslutsstöd snarare än som en automatisk utlösare för underhållsbeslut.