Wegwijs in de ‘alarmenberg’
Roep om alarmmanagement bij procesbesturing neemt toe
Operators van geïntegreerde procesbesturingssystemen worstelen dagelijks soms met duizenden alarmmeldingen. Waterschapsbedrijf Limburg (WBL) vond samen met Croonwolter&dros een oplossing.
Systemen voor afvalwaterbehandeling bestaan vandaag de dag uit een wijdvertakt netwerk van rioolgemalen en rioolwaterzuiveringen, dat wordt gevolgd en gemonitord door omvangrijke geïntegreerde procesbesturingssystemen. Zo startte Waterschapsbedrijf Limburg (WBL) in 2010 met WAUTER, kort voor WaterAUTomatisERing. Met WAUTER houdt het dochterbedrijf van Waterschap Limburg vanuit de centrale regiekamer in Roermond het overzicht op het net van 17 rioolwaterzuiveringen, ruim 140 eigen rioolgemalen en 400 gemeentelijke gemalen. Al deze installaties worden met procesbesturingssysteem PCS7 van Siemens bediend en bestuurd. Ook de 800 gemeentelijke gemalen in het SCADA-systeem AquaView van Xylem maken onderdeel uit van de WAUTER-omgeving die een aanzienlijke efficiencyslag voor WBL met zich meebracht. Hiervoor had elk gemaal en elke zuiveringsinstallatie zijn eigen besturingssysteem (166 in totaal). Alle haperingen in het afvalwatersysteem worden met WAUTER in beeld gebracht, dat continu circa 100 duizend variabelen monitort. “Dat zijn interessante data waar we modellen mee ontwikkelen om storingen en onderhoud te voorspellen. Onderdelen die defect dreigen te raken, kunnen we eerder vervangen”, zegt projectmanager ICT & Innovatie Léon Verhaegen van WBL.
Voorspellen
Een voorbeeld hiervan is een op basis van data-analyse ontwikkeld model dat in staat is capaciteitsschommelingen in het rioolstelsel realtime te voorspellen en te bepalen waar en wanneer onderhoud nodig is. “In perioden van droogte kan het leidingstelsel dichtslibben met allerlei vervuiling”, vertelt Verhaegen. “De afvoercapaciteit gaat dan snel achteruit, totdat regenbuien de leidingen schoonspoelen. Met het model kunnen we capaciteitsschommelingen realtime voorspellen en bepalen waar en wanneer we onderhoud moeten doen. We weten vooraf wat er nodig is om onze afnameverplichting na te komen, Met data-analyse is een compleet nieuwe wereld voor ons opengegaan.”
Inmiddels is het procesbesturingssysteem geëvolueerd naar WAUTER3. “Elke vijf jaar vervangen we alle hardware en upgraden we ook de software”, zegt Verhaegen. Naast een hoog niveau van cybersecurity is de procesautomatisering nu ook klaar voor het slimmer omgaan met big data op basis van machine learning en AI. Daartoe is ‘boven’ WAUTER (in Microsoft Azure) een data-platform gebouwd. Deze datalaag staat – vanwege de cyberveiligheid – geheel los van de operationele technologie voor het afvalwatersysteem. “Als we bijvoorbeeld kantoorprogramma’s of financiële software willen upgraden interfereert dat niet met de procesbesturing voor onze afvalwaterbehandeling. Alles staat hiervan gescheiden in de cloud, ook de data.”
Alarmmeldingen
De centrale geïntegreerde procesautomatisering kent een aanzienlijke hoeveelheid alarmmeldingen, die via het netwerk op de schermen van de operators in de centrale regiekamer binnenkomen. “Jaarlijks zijn er zo’n twee miljoen meldingen”, zegt system-engineer product- en procesautomatisering Jos Voermans van WBL. Alarmmeldingen kunnen uiteenlopende oorzaken hebben. Een alarm kan bijvoorbeeld worden gemaakt als tijdens een regenbui het gevraagde afvoerdebiet niet wordt gehaald vanwege een storing in de pomp van een gemaal. Een alarm kan ook ontstaan door verkeerde of te kritische procesinstellingen, of als onderhoud niet snel genoeg wordt uitgevoerd. Voor procesgerelateerde storingen zijn in de alarmmeldingen in het functioneel ontwerp van WAUTER zes prioriteitsniveaus toegekend, legt Voermans uit. “Als een alarm van lage prioriteit niet wordt opgevolgd, kan het uiteindelijk tot een alarm van hoge prioriteit leiden. Het liefst wil je zo snel mogelijk ingrijpen. Als zo’n alarm gemist wordt wil dat niet zeggen dat we dan niet in control zijn, want we hebben een stevige veiligheidsschil rond onze hoofdprocessen.”
Het doel van WBL is dan ook de hoeveelheid alarmmeldingen zoveel mogelijk terug te dringen. “Vaak gaat het om alarmen die dubbel zijn of zich herhalen. In veel gevallen gaat het ook om een reeks van alarmmeldingen die een relatie met elkaar hebben. Als je het grote aantal van dit type alarmen naar beneden kunt krijgen, neemt de overkill aan alarmen af en kunnen onze operators rustiger en beter hun werk doen en meer aandacht schenken aan de meldingen die er mogelijk wel toe doen”, zegt Voermans.
Alarmmanagementsysteem
Samen met technisch dienstverlener Croonwolter&dros zocht WBL naar een oplossing. Het bedrijf, als system-integrator overigens nauw betrokken bij de ontwikkeling en vernieuwing van WAUTER, heeft intelligente software ontwikkeld die verbanden legt tussen de diversiteit aan alarmmeldingen. Het dashboard van het systeem biedt veel analysemogelijkheden. Een sprekend voorbeeld is een top-10 van de belangrijkste alarmen, waarbij ook een tijdlijn met alarmfrequenties en de alarmduur wordt weergegeven. Gebruikers kunnen zo in één oogopslag zien waar de prioriteiten liggen. Alle alarmen worden in een centrale database verzameld en door het systeem onderzocht.
WBL heeft het alarmmanagementsysteem in de WAUTER-omgeving getest. Vier maanden geleden is het live gegaan. “Tot nu toe was er geen tijd om na te gaan hoe alarmen eigenlijk ontstaan en wat erachter zit”, legt Verhaegen uit. “Het alarmmanagementsysteem stelt ons in staat te achterhalen welke meldingen bij elkaar horen. Door deze categorie alarmen te groeperen en dwarsdoorsneden te maken kunnen we exact nagaan in hoeverre onze operators hierdoor belast worden. We willen deze groep onnodige alarmen drastisch terugsnoeien.”
Voermans kan via het dashboard van het systeem alvast wat resultaten delen. Over de afgelopen drie maanden blijkt dat zo’n 44 procent van alle alarmmeldingen is toe te schrijven aan slechts tien alarmen.“Dat bewijst dat er veel repeterende alarmen tussen zitten. Als je dit soort alarmen dus opvolgt en de bron ervan wegneemt, scheelt dat in dit geval maar liefst 13 duizend meldingen.", zegt Voermans.
Ambities
Met het alarmmanagementsysteem heeft WBL nu continu inzicht in de hoeveelheid en impact van de alarmmeldingen die het bedrijf in WAUTER krijgt. De ambities gaan echter verder, laat Verhaegen weten. In eerste instantie zijn in het systeem alle alarmmeldingen in PCS7 meegenomen. Bij het verder uitrollen ervan wil WBL ook de alarmen van de 800 gemeentelijke gemalen in het AquaView-systeem meenemen. “We willen naar één systeem toe, waarin alle alarmen bij elkaar komen, zodat we een eenduidige alarmafhandeling krijgen.” De volgende stap is alle alarmdata onder te brengen in het dataplatform van WBL.
Verder wil WBL op termijn ook alle storingen aan het netwerk van KPN en Vodafone in het alarmmanagementsysteem meenemen, om daar meer inzicht in te krijgen. “Het zou best wel eens kunnen dat wij verstoringen van ons proces hebben, omdat het netwerk van onze provider niet goed werkt. Dan functioneert het procesbesturingssysteem goed, maar krijg je een alarm vanwege een falende netwerkverbinding. We willen ook de storingen die buiten ons om gebeuren, beter kunnen detecteren en uitleggen. Komt een storing nou door een slechte werkende pomp van een gemaal of is er sprake van een netwerkstoring. Dan komen we ook beter beslagen ten ijs als we de netwerkbeheerder hierop wijzen.”
De komst van het alarmmanagementsysteem heeft nog meer in gang gezet. Voor WBL vormde dit ook de aanleiding om het alarm control center-systeem in WAUTER te moderniseren. Bij alarmmeldingen worden operators en monteurs in het veld vanuit de centrale regiekamer aangestuurd via de semafoon. Ze krijgen een melding op hun pieper en gaan vervolgens ter plekke een diagnose stellen. Dat gebeurt 24/7, dus ook als de regiekamer niet is bemand. De semafoon is echter een oude techniek van KPN die over niet al te lange tijd gaat verdwijnen. “Om hierop voor te sorteren, zijn we overgegaan op een app”, vertelt Verhaegen. “Een deelgroep van operators en monteurs hebben de app op hun smartphone staan en werken er al in de praktijk mee. In plaats het sec opvolgen van een melding via een pieper kunnen ze via de app direct terugkoppelen. We kunnen het alarmmanagement dus van meerdere kanten aanvliegen. Als de app bevalt, gaan we er volledig op over.”
Alarmmanagementsysteem meet operationele efficiency
Het alarmmanagementsysteem van Croonwolter&dros geeft naast alle procesinformatie ook realtime inzicht in de status van het systeem ten opzichte van de EEMUA 191-standaard. Deze internationale industrienorm is vastgesteld door de Engineering Equipment and Materials Users Association (EEMUA) en stelt eisen aan de belastbaarheid van operators van geïntegreerde procesbesturingssystemen. “Door de huidige groei van procesautomatisering en de koppelingen van de vele systemen is het aantal alarmmeldingen steeds verder toegenomen”, zegt manager Watermarkt Peter Withagen van Croonwolter&dros Technische Automatisering en Informatisering (TAI). “Operators zien door de bomen het bos niet meer. Als je besturingssystemen nog verder aan elkaar koppelt en online zet, is het van tevoren moeilijk te voorspellen hoeveel alarmen een operator voor zijn kiezen gaat krijgen. De EEMUA-norm geeft aan hoeveel alarmen een operator maximaal aankan om goed zijn werk te kunnen blijven doen. Ons alarmmanagementsysteem meet dus ook de operationele efficiency en reikt verbeterpunten aan. Zo kan het alarmmanagementsysteem het bedrijf helpen zijn processen te optimaliseren. Wij voorzien dat deze systemen in de watersector een enorme impact gaan maken.”
Het alarm control center-systeem in WAUTER stuurt monteurs in het veld niet langer aan via een semafoon maar via een app op hun smartphone (Foto: Gerben van der Velden).