Umeå universitets logga

umu.sePublikationer
Driftstörningar
Det förekommer återkommande driftstörningar på några av sök-portalerna på grund av hög belastning. Vi arbetar på att lösa problemet, ni kan tillfälligt mötas av ett felmeddelande.
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Towards better process management in wastewater treatment plants: Process analytics based on SHAP values for tree-based machine learning methods
Umeå universitet, Teknisk-naturvetenskapliga fakulteten, Kemiska institutionen.
Vakin, Umeå, Sweden.
Vakin, Umeå, Sweden.
Umeå universitet, Teknisk-naturvetenskapliga fakulteten, Institutionen för datavetenskap.
Visa övriga samt affilieringar
2022 (Engelska)Ingår i: Journal of Environmental Management, ISSN 0301-4797, E-ISSN 1095-8630, Vol. 301, artikel-id 113941Artikel i tidskrift (Refereegranskat) Published
Abstract [en]

Understanding the mechanisms of pollutant removal in Wastewater Treatment Plants (WWTPs) is crucial for controlling effluent quality efficiently. However, the numerous treatment units, operational factors, and the underlying interactions between these units and factors usually obfuscate the comprehensive and precise understanding of the processes. We have previously proposed a machine learning (ML) framework to uncover complex cause-and-effect relationships in WWTPs. However, only one interpretable ML model, Random forest (RF), was studied and the interpretation method was not granular enough to reveal very detailed relationships between operational factors and effluent parameters. Thus, in this paper, we present an upgraded framework involving three interpretable tree-based models (RF, XGboost and LightGBM), three metrics (R2, Root mean squared error (RMSE), and Mean absolute error (MAE)) and a more advanced interpretation system SHapley Additive exPlanations (SHAP). Details of the framework are provided along with a demonstration of its practical applicability based on a case study of the Umeå WWTP in Sweden. Results show that, for both labels TSSe (Total suspended solids in effluent) and PO4e (Phosphate in effluent), the XGBoost models are optimal whereas the RF models are the least optimal, due to overfitting and polarized fitting. This study has yielded multiple new and significant findings with respect to the control of TSSe and PO4e in the Umeå WWTP and other similarly configured WWTPs. Additionally, this study has produced two important generic findings relating to ML applications for WWTPs (or even other process industries) in terms of cause-and-effect investigations. First, the model comparison should be carried out from multiple perspectives to ensure that underlying details are fully revealed and examined. Second, using a precise, robust, and granular (feature attribution available for individual instances) explanation method can bring extra insight into both model comparison and model interpretation. SHAP is recommended as we found it to be of great value in this study.

Ort, förlag, år, upplaga, sidor
Elsevier, 2022. Vol. 301, artikel-id 113941
Nyckelord [en]
Wastewater treatment, Process analytics, Interpretable AI, Machine learning, SHapley additive exPlanations
Nationell ämneskategori
Miljövetenskap
Identifikatorer
URN: urn:nbn:se:umu:diva-188792DOI: 10.1016/j.jenvman.2021.113941ISI: 000711337500004PubMedID: 34731954Scopus ID: 2-s2.0-85117064804OAI: oai:DiVA.org:umu-188792DiVA, id: diva2:1605150
Projekt
EcoChangeTillgänglig från: 2021-10-22 Skapad: 2021-10-22 Senast uppdaterad: 2021-12-13Bibliografiskt granskad
Ingår i avhandling
1. How can data science contribute to a greener world?: an exploration featuring machine learning and data mining for environmental facilities and energy end users
Öppna denna publikation i ny flik eller fönster >>How can data science contribute to a greener world?: an exploration featuring machine learning and data mining for environmental facilities and energy end users
2021 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Alternativ titel[sv]
Hur kan datavetenskap bidra till en grönare värld? : studier med användande av maskininlärning och datamining för miljöanläggningar och energiförbrukning
Abstract [en]

Human society has taken many measures to address environmental issues. For example, deploying wastewater treatment plants (WWTPs) to alleviate water pollution and the shortage of usable water; using waste-to-energy (WtE) plants to recover energy from the waste and reduce its environmental impact. However, managing these facilities is taxing because the processes and operations are always complex and dynamic. These characteristics hinder the comprehensive and precise understanding of the processes through the conventional mechanistic models. On the other hand, with the development of the Fourth Industrial Revolution, large-volume and high-resolution data from automatic online monitoring have become increasingly obtainable. These data usually reflect abundant detailed information of process activities that can be utilized for optimizing process control. Similarly, data monitoring is also adopted by the resource end users. For example, energy consumption is usually recorded by commercial buildings for optimizing energy consumption behavior, eventually saving running costs and reducing carbon footprint. With the data recorded and retrieved, appropriate data science methods need to be employed to extract the desired information. Data science is a field incorporating formulating data-driven solutions, data preprocessing, analyzing data with particular algorithms, and employing results to support high-level decisions in various application scenarios.

The aim of this PhD project is to explore how data science can contribute to a more sustainable world from the perspectives of both improving the operation of environmental engineering processes and optimizing the activities of energy end users. The major work and corresponding results are as follows:

(1) (Paper I) An ML workflow consisting of Random Forest (RF) models, Deep Neural Network (DNN) models, Variable Importance Measure (VIM) analyses, and Partial Dependence Plot (PDP) analyses was developed and utilized to model WWTP processes and reveal how operational features impact on effluent quality. The case study was conducted on a full-scale WWTP in Sweden with large data (105,763 samples). This paper was the first ML application study investigating cause-and-effect relationships for full-scale WWTPs. Also, for the first time, time lags between process parameters were treated rigorously for accurate information uncovering. The cause-and-effect findings in this paper can contribute to more sophisticated process control that is more precise and cost-effective. 

(2) (Paper II) An upgraded workflow was designed to enhance the WWTP cause-and-effect investigation to be more precise, reliable, and comprehensive. Besides RF, two more typical tree-based models, XGBoost and LightGBM, were introduced. Also, two more metrics were adopted for a more comprehensive performance evaluation. A unified and more advanced interpretation method, SHapley Additive exPlanations (SHAP), was employed to aid model comparison and interpret the optimal models more profoundly. Along with the new local findings, this study delivered two significant general findings for cause-and-effect ML implementations in process industries. First, multi-perspective model comparison is vital for selecting a truly reliable model for interpretation. Second, adopting an accurate and granular interpretation method can profit both model comparison and interpretation.

(3) (Paper III) A novel workflow was proposed to identify the accountable operational factors for boiler failures at WtE plants. In addition to data preprocessing and domain knowledge integration, it mainly comprised feature space embedding and unsupervised clustering. Two methods, PCA + K-means and Deep Embedding Clustering (DEC), were carried out and compared. The workflow succeeded in fulfilling the objective of a case study on three datasets from a WtE plant in Sweden, and DEC outperformed PCA + K-means for all the three datasets. DEC was superior due to its unique mechanism in which the embedding module and K-means are trained simultaneously and iteratively with the bidirectional information pass.

(4) (Paper IV) A two-level (data structure level and algorithm mechanism level) workflow was put forward to detect imperceptible anomalies in energy consumption profiles of commercial buildings. The workflow achieved two objectives – it precisely detected the contextual energy anomalies hidden behind the time variation in the case study; it investigated the combined influence of data structures and algorithm mechanisms on unsupervised anomaly detection for building energy consumption. The overall conclusion was that the contextualization resulted in a less skewed estimation of correlations between instances, and the algorithms with more local perspectives benefited more from the contextualization.

Abstract [sv]

Dagens samhälle har vidtagit många åtgärder för att lösa miljöproblem. Exempel är reningsverk för avloppsvatten för att minska efffekter av vattenföroreningar och öka mängden av användbart vatten och använda avfall-till-energi (WtE) anläggningar för att återvinna energi från avfallet och minska dess miljöpåverkan. Det kan dock vara krävande att hantera dessa anläggningar eftersom processerna oftast är komplexa och dynamiska. Komplexiteten i processerna kan hindra en heltäckande och exakta förståelsen av processerna genom konventionella mekanistiska modellerna. Å andra sidan, med utvecklingen av s k Industri 4.0 har stora volymer och högupplösta data från automatisk onlineövervakning blivit alltmer tillgängliga. Dessa data återspeglar vanligtvis detaljerad information om processaktiviteter som kan användas för att optimera processkontroll. På samma sätt antas dataövervakning också ha ett stort värde för slutanvändare. Till exempel registreras energiförbrukningen av kommersiella byggnader vanligtvis för att optimera energiförbrukning, för att i förlängningen spara driftskostnader och minska koldioxidavtryck. För att uppnå maximal kunskap från inhämtade data måste dessa bearbetas med lämpliga datavetenskapliga metoder för att extrahera ut den önskade informationen. Datavetenskap är ett område som innefattar formulering av datadrivna lösningar, dataförbehandling, analys av data med speciella algoritmer och användning av resultat för att stödja beslut på i olika tillämpningsscenarier.

Syftet med detta doktorandprojekt har varit att utforska hur datavetenskap kan bidra till en mer hållbar värld utifrån perspektiven att både förbättra driften av miljötekniska processer och optimera energianvändning i byggnader. Sammanfattning av resultaten är följande:

Paper I - Ett Machine Learning (ML)-arbetsflöde bestående av Random Forest (RF)-modeller, Deep Neural Network (DNN)-modeller, Variable Importance Measure (VIM)-analyser och PDP-analyser (Partial Dependence Plot) utvecklades och användes för att modellera avloppsvattenreningsprocess och identifiera operativa funktioner påverkar avloppskvaliteten. Fallstudien genomfördes på ett fullskaligt reningsverk i Umeå, Sverige med stora data (105 763 prover). Detta arbete är en av de första ML-tillämpningarna som undersökt orsak-verkan-samband för fullskaliga reningsverk. För första gången behandlades också tidsfördröjningar mellan processparametrar för att ge optimal och korrekt information. Resultaten  i detta arbete kan bidrar till en mer exakt och kostnadseffektiv processkontroll.

Paper II - Ett uppgraderat arbetsflöde utformades för att förbättra undersökningen av reningsverkets orsak-verkansamband. Förutom RF introducerades ytterligare två typer av  beslutträdsmodeller, XGBoost och LightGBM. Dessutom antogs ytterligare två mätvärden för en mer omfattande av utvärdering av prestanda. En enhetlig och mer avancerad tolkningsmetod, SHapley Additive exPlanations (SHAP), användes för modelljämförelser och tolkning av de optimala modellerna. Arbetet resulterade i  två allmänna observationer kring orsak-och-verkan genom ML-implementationer i processindustrier. För det första är jämförelse av multiperspektivmodeller avgörande för att välja en  tillförlitlig modell för tolkning. För det andra kan implementering av en  granulär tolkningsmetod tjäna både modelljämförelse och tolkning.

Paper III - Ett nytt arbetsflöde föreslogs för att identifiera de driftsfaktorerna kopplade till oplanerade stopp hos pannor vid avfallsförbränningsanläggningar. Förutom dataförbearbetning och domänkunskapsintegration omfattade det  sammfattning av data till underliggande strukturer  och  olika klustringsmodeller. Två metoder, PCA + K-means och Deep Embedding Clustering (DEC), genomfördes och jämfördes. Metoderna applicerades på i en fallstudie på tre datamängder kopplade till oplanerade stopp vid en fullskalig WtE-anläggning i Umeå, Sverige.  DEC visade sig överträffa PCA + K-means för alla tre datamängderna. 

Paper IV - Ett arbetsflöde på två nivåer (datastrukturnivå och algoritmmekanismnivå) presenterades för att upptäcka anomalier i energiförbrukningsprofiler för kommersiella byggnader. Arbetsflödet uppnådde två mål, dels identifierade de kontextuella energianomalier som gömdes bakom tidsvariationen i fallstudien och dels undersöktes den kombinerade inverkan av datastrukturer och algoritmmekanismer på oövervakad anomalidetektering för byggnaders energiförbrukning. Den övergripande slutsatsen var att kontextualiseringen resulterade i en mindre skev uppskattning av korrelationer mellan instanser, och algoritmerna med mer lokala perspektiv gynnades mer av kontextualiseringen.

Ort, förlag, år, upplaga, sidor
Umeå: Umeå University, 2021. s. 49
Nyckelord
Wastewater treatment, Process analytics, Big data, Machine learning, Interpretable AI, Power plants, Failure analysis, Data mining, Buildings, Energy consumption, Anomaly detection
Nationell ämneskategori
Beräkningsmatematik Data- och informationsvetenskap Samhällsbyggnadsteknik
Identifikatorer
urn:nbn:se:umu:diva-190259 (URN)978-91-7855-719-6 (ISBN)978-91-7855-718-9 (ISBN)
Disputation
2022-01-18, Glasburen, KBC-huset, Umeå, 13:00 (Engelska)
Opponent
Handledare
Tillgänglig från: 2021-12-17 Skapad: 2021-12-11 Senast uppdaterad: 2021-12-13Bibliografiskt granskad

Open Access i DiVA

fulltext(7538 kB)534 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 7538 kBChecksumma SHA-512
0dace165771080b7bc8eede20610ec9f429e98c3ed22bc5bff3a24cfe79f487b91371033773f964b385487841553667677af7820ddc51f587cdb9c77d0f1e263
Typ fulltextMimetyp application/pdf

Övriga länkar

Förlagets fulltextPubMedScopus

Person

Wang, DongJiang, LiliTrygg, JohanTysklind, Mats

Sök vidare i DiVA

Av författaren/redaktören
Wang, DongJiang, LiliTrygg, JohanTysklind, Mats
Av organisationen
Kemiska institutionenInstitutionen för datavetenskap
I samma tidskrift
Journal of Environmental Management
Miljövetenskap

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 534 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

doi
pubmed
urn-nbn

Altmetricpoäng

doi
pubmed
urn-nbn
Totalt: 935 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf