Naar de inhoud
maarten.
Ingenieur houdt meerdere schermen in een industriële controlekamer in de gaten.
Alle stories

Logging voor betrouwbare automatisering

Maarten Soetens 12 min lezen

Logging, monitoring en foutafhandeling maken zichtbaar wat een automatisering doet wanneer processen afwijken van het verwachte pad. Je leest hoe je gebeurtenissen vastlegt, retries en dubbele verwerking beheerst en handmatige uitzonderingen onderdeel maakt van het procesontwerp. Meer weten over automatisering met workflows en koppelingen? Lees verder over mijn aanpak.

Logging ontwerpen rond procesgebeurtenissen

Loggen heeft alleen zin als je weet welke vraag je ermee wilt beantwoorden. Dus niet zomaar technische details dumpen, maar eerst bepalen wat belangrijk is voor het proces. Zoals: hier is een verzoek ontvangen. Dat record is goedgekeurd. Er is een taak aangemaakt. Antwoord van de externe dienst binnen. Of: klaar met verwerken. Zulke gebeurtenissen heb je nodig om later te zien wat er gebeurde, waar het misging, en hoe het kwam dat een proces op een bepaald punt eindigde.

Een logregel hoort minimaal een tijdstip, een type gebeurtenis, een proces-ID of referentie en de uitkomst te hebben. Voeg eventueel naam en versie van de automatisering toe. Dan kun je achteraf verklaren waarom een proces na een softwarewijziging anders liep. Registreer ook als je een stap overslaat, bijvoorbeeld door een if-blok. Ontbreekt die notitie, dan lijkt het vaak of je iets vergeten bent te verwerken, terwijl dat een bewuste keuze was.

Je wilt niet alles loggen, want te weinig log geeft te weinig grip, te veel log geraas, en soms privacy- of opslagproblemen. Bijvoorbeeld: registreer liever alleen redenen en statussen dan hele documenten of berichten. Maak loggen onderdeel van het procesontwerp. Neem per stap op wat je nodig hebt voor foutzoeken, voortgang zien of resultaten controleren.

Gestructureerde logs en correlatie-ID’s gebruiken

Vrije tekst kun je als mens lezen, maar computers struikelen daar al snel over. Met gestructureerde logs sla je gegevens op in vaste velden, zoals event_type, status, workflow_id en correlation_id. Zo kan iemand alle gefaalde API-calls in één zoekactie vinden, zonder afhankelijk te zijn van een bepaalde tekst in de foutmelding. En: één schema, dus ook bruikbaar voor dashboards of automatische monitoring.

Een correlatie-ID gebruik je om gebeurtenissen die bij één bedrijfsproces horen aan elkaar te koppelen. Stel je krijgt één formulier binnen dat via meerdere automatiseringen en externe systemen reist; door steeds dezelfde ID te gebruiken, kun je in één keer alles terugvinden wat met dat proces te maken heeft. Als het relevant is, sla je ook bron-ID's en resultaat-ID’s op, zodat je weet: dit invoerrecord leidde tot deze wijziging.

Log nooit wachtwoorden, sessietokens, volledige betaalgegevens of persoonsgegevens die je niet nodig hebt. Maskeren of gewoon helemaal weglaten doe je vóór je schrijft, want wat in een log staat gaat al snel zwerven. Gooi statussen en fouttypes niet lukraak neer: spreek vaste waarden af. Schrijft de ene module “mislukt” en de ander “error”, dan stelt monitoring weinig meer voor. Een simpel schema met duidelijke velden werkt vaak beter dan 20 regels met losse beschrijvingen.

Monitoring en meldingen afstemmen op procesrisico

Logging vertelt je wat er gebeurde; monitoring kijkt of het proces loopt zoals het hoort. Dat zit echt anders. Eén keer een foutmelding zegt niet altijd iets, maar als je wachtrij groeit of je merkt ineens minder output, dan speelt er meer. Dus: kijk niet alleen naar technische up/down-checks, maar meet ook concrete procescijfers. Hoeveel taken in, hoeveel uit, hoe veel fout, hoe oud zijn de open taken?

Een melding is pas nuttig als iemand er wat mee moet. Stel de drempel scherp op wat voor jouw situatie relevant is. Is een externe dienst even down? Misschien prima, zolang retries netjes lopen. Faalt het bij een belangrijk nieuw record? Dan wel direct actie. Meldingen zonder directe actie gaan mensen negeren of zelfs uitzetten. Combineer signalen slim: een hoog foutpercentage en veel getroffen items samen betekent meestal groter probleem.

Dashboards zijn handig voor trends, meldingen voor directe actie. Voorzie meldingen van de belangrijkste context: workflownaam, tijdstip, fouttype, liefst een link naar de logregels. Zet geen persoonsgegevens in die berichten. En test: komen meldingen ook aan, weet iemand wat ermee te doen? Het helpt niet als een rule stilletjes faalt of alleen in commentaar beschreven staat. Pas drempels aan als volume, afhankelijkheid of regels veranderen.

Fouten classificeren en op de juiste plek afhandelen

Niet iedere fout is hetzelfde. Een ontbrekend veld vraagt om iets anders dan een time-out of misconfiguratie. Deel fouten op: permanent, tijdelijk, of onduidelijk. Iets dat nooit werkt (zoals een verplicht veld dat mist) hoef je niet te blijven proberen. Een storing onderweg kan meestal wel even wachten en nog een keer. Is het resultaat onzeker? Dan kun je hebben dat een wijziging misschien is doorgekomen, maar je mist de bevestiging, check dat vóórdat je opnieuw inzet.

Vang fouten daar waar je weet wat het betekent voor je proces. Bijvoorbeeld: een adapter vertaalt ruwe API-fouten naar vaste labels. De proceslogica beslist daarna pas of iets opnieuw mag, in een error queue komt, of stopt. Pak je fouten veel eerder op, dan verlies je context die je nodig hebt om te fixen. Helemaal niet afvangen kan net zo slecht zijn, want dan breekt soms alles voor één mislukte taak, ook als je eigenlijk alleen die wilde overslaan.

Log bij iedere fout: de procesreferentie, stap, fouttype en relevante technische details, maar geef mensen niet alleen stacktraces. Laat zien welke fouten vanzelf rechtzetten en voor welke een mens nodig is. Monitoring kan dan onderscheid maken en je ziet sneller waar je moet bijsturen. Leg vast welke fouten de hele transactie stoppen en welke maar één stap blokkeren, dat maakt veel uit, want het bepaalt hoeveel werk je bij een fout kwijtraakt.

Retries met back-off en duidelijke grenzen instellen

Retries gebruik je bij fouten die waarschijnlijk tijdelijk zijn: een netwerk dat stottert, een dienst die even traag is. Gelijk opnieuw proberen is vaak niet handig, zo versterk je de storing alleen maar. Exponential back-off betekent: eerst snel opnieuw, dan steeds langer wachten. Waarbij random extra wachten (“jitter”) voorkomt dat alles tegelijk opnieuw landt. Zet ook altijd een maximum op het aantal pogingen, en op de totale tijd dat iets in behandeling blijft.

Maak duidelijk wat tijdelijk is en wat niet. Een HTTP-fout zegt niet alles: een rate limiter vraagt om pauze, een verkeerde payload niet. Respecteer de retry-hints van de externe dienst. Log iedere poging apart, met pogingnummer, wachttijd en fouttype. Anders lijkt het alsof je losse storingen hebt, terwijl het dezelfde opdracht is die blijft terugkomen.

Retries werken alleen als je ook een grens trekt. Blijf je oneindig proberen, dan slibt je systeem dicht. Na de limiet krijgt de taak een duidelijke status: klaar voor handmatig werk, of naar een aparte foutwachtrij. Die limiet hangt af van het soort afhankelijkheid en hoeveel werk je wilt redden. Kijk in de statistieken of retries daadwerkelijk helpen; zie je alleen langdurige backlogs, dan schuif je het echte probleem vooral vooruit.

Dubbele verwerking voorkomen met idempotentie

Dubbele verwerking ontstaat sneller dan je misschien denkt. Bijvoorbeeld een bron stuurt hetzelfde bericht twee keer, of de gebruiker klikt opnieuw, of een antwoord gaat onderweg verloren. Het akeligste scenario is als je niet weet of het vorige verzoek is doorgekomen, en je probeert het veilig opnieuw, met als resultaat dubbele records of facturen. Je bouwt betrouwbaarheid door te zorgen dat herhaling niet tot meer werk leidt, niet door te hopen dat het nooit voorkomt.

Idempotentie zorgt ervoor dat dezelfde opdracht vaker uitvoeren hetzelfde eindresultaat geeft als één keer. Maak hiervoor een unieke sleutel van bijvoorbeeld de bron, het bedrijfs-ID of iets vergelijkbaars, en bewaar bij de status van verwerken. Voordat je iets nieuws doet, eerst controleren of die sleutel al is gebruikt. Voor API’s gebruik je vaak een idempotency key; dan moet de dienst dat wel ondersteunen én moet je weten hoelang die sleutel geldig blijft. Gebruik nooit een willekeurige key bij iedere poging.

Check altijd met het proces in gedachten op duplicaten. Twee technisch identieke berichten zijn vaak hetzelfde evenement. Maar twee aanvragen van dezelfde klant hoeven dat zeker niet te zijn, kijk dus wat uniek maakt. Leg vast welke velden samen een gebeurtenis identificeren, en wat gebeurt als de inhoud verschilt maar de key gelijk is. Als je “in behandeling” als status hebt, voorkom je parallelle verwerking, maar veroorzaak je vastlopers als niemand de taak op kan pakken. Test gelijktijdigheid; een simpele check-insert kan races veroorzaken als je geen lock of database constraint gebruikt.

Uitzonderingen beheren met foutwachtrijen en herstelstatussen

Een foutwachtrij is geen afvalputje. Hier maak je uitzonderingen zichtbaar, onder controle van een eigenaar en met een duidelijke oorzaak. Sla op welk proces het betreft, welke oorspronkelijke gebeurtenis erbij hoort (of een link ernaar), hoeveel keer is geprobeerd, wat de laatste fout was, en wanneer het voor het laatst misliep. Dan zie je snel: moet de invoer worden aangepast, was de afhankelijkheid stuk, mag dit opnieuw? Bij webshopvoorraad helpt zo’n foutwachtrij bijvoorbeeld om mislukte voorraadsynchronisaties zichtbaar te houden.

Maak verschil tussen iets opnieuw proberen, iets corrigeren, of bewust laten vervallen. Een adresfout? Laat de bron iets aanpassen. API-outage? Automatisch opnieuw aanbieden als het kan. Een vervallen opdracht, bijvoorbeeld retour of ingetrokken? Niet nog eens uitvoeren. Noteer per handmatige actie ook wie besloot, wat er is gewijzigd en hoe je opnieuw gestart bent. Het proceslogboek blijft dan kloppend, uitzonderingen worden niet stiekem gewist.

Kijk goed naar gedeeltelijk verwerken. Kan een proces van drie stappen waarbij de derde faalt? Zijn de eerste twee dan afgerond, moeten ze terug, of los je dat handmatig op? Meestal kun je geen transactie over meerdere externe systemen afdwingen. Dan ga je voor herstel in stappen, geen magische undo. Beperk toegang tot gevoelige foutdata, en stel een bewaartermijn in. Anders loopt een foutwachtrij vol met privacygevoelige oude data.

Logging en foutafhandeling testen als onderdeel van de workflow

Ook als je workflow werkt in het succespad, kan alles alsnog stilvallen zodra een afhankelijkheid traag is of antwoorden kwijtraken. Test daarom ook de foutpaden: ongeldige data, time-outs, dubbele berichten, fouten in herstel, en gedeeltelijke uitkomsten. Kijk per scenario: welke status ontstaat, welke logs landen er, en krijg je een melding die klopt? Alleen zo weet je of operators kunnen handelen als het misgaat.

Gebruik waar het kan geautomatiseerde tests, liefst met mock-fouten en een testomgeving met echte integraties. Stel bijvoorbeeld een externe API eerst even traag, daarna succes. Verwacht dan: een paar pogingen, gestructureerde logs met pogingnummers, en uiteindelijk één eindstatus. Test ook die onzekere “misschien toch verwerkt”-variant; anders denk je dat idempotentie werkt, terwijl het niet zo is.

Neem monitoring en logbaarheid mee bij wijzigingen. Nieuwe processtap? Nieuwe gebeurtenis of status. Check na elke wijziging of bestaande dashboards of meldingen stukgaan, of oude en nieuwe statussen door elkaar lopen. Een paar slimme tests vangen veel probleemgedrag snel op, maar productiegedrag controleren blijft belangrijk. Vergelijk na een wijziging de verwachte cijfers voor volume, fouten en open taken met wat je daadwerkelijk ziet. Vallen er dingen op, dan kun je gericht verder zoeken in de logs zonder alles handmatig door te spitten. Ook bij n8n-workflows loont het om foutafhandeling en monitoring in het ontwerp mee te nemen.

Veelgestelde vragen

Hoe lang moet ik logs van automatiseringen bewaren?

Je bewaart logs net zo lang als je ze echt nodig hebt voor beheer, onderzoek of wetgeving. Welke termijn past, hangt af van waarvoor je logt, hoe gevoelig de log is en wat er vanuit wetgeving of een contract gevraagd wordt. Stel apart voor elk soort log een bewaartermijn in, niet zomaar één termijn voor alles.

  • Operationele logs houd je meestal korter dan logs voor auditing.
  • Verwijder of anonimiseer data vanzelf zodra dietermijn om is.
  • Check of oude logs die je archiveert nog veilig toegankelijk én vindbaar zijn.

Wie mag de logs van een automatisering inzien?

Alleen mensen die het nodig hebben voor hun werk mogen in logs kijken. Beheerders hebben vaak meer toegang als ze een storing onderzoeken. Procesmedewerkers kunnen meestal met fouttypes en statusoverzichten toe. Richt de rechten zó in dat gebruikers niet zomaar alles kunnen zien of exporteren.

  • Gebruik persoonlijke accounts en sla logtoegang op, zodat je achteraf kunt zien wie de log heeft bekeken.
  • Laat exporteren en verwijderen alleen toe voor een kleine groep.
  • Bekijk rechten regelmatig opnieuw, bijvoorbeeld als iemand van rol verandert of vertrekt.

Zo houd je in de hand wie per ongeluk of expres gevoelige gegevens ziet.

Wat is het verschil tussen logs, metrics en traces bij automatiseringen?

Logs leggen losse gebeurtenissen vast. Metrics zijn voor cijfermatige trends, zoals aantallen en percentages. Traces volgen een compleet verzoek over systemen heen, van begin tot eind. Je hebt ze alledrie nodig voor totaalplaatje. Met een log zie je: taak is om die reden gestopt. Metrics laten zien: meer fouten dan anders. Trace wijst aan: daar in de keten zat de vertraging.

  • Gebruik logs als je wil weten waarom iets gebeurde en wat precies.
  • Sla metrics op voor trends en tellers over tijd.
  • Volg met traces de route en timing van een enkele opdracht over verschillende systemen.

Samen helpen deze bronnen je sneller een afwijking te spotten en de oorzaak te vinden.

Hoe stel ik een betrouwbaarheidsdoel voor een automatisering vast?

Je stelt een betrouwbaarheidsdoel vast door eerst te bepalen wat gebruikers of processen minimaal nodig hebben, en dat maak je meetbaar. Bijvoorbeeld: hoeveel procent taken is op tijd klaar, of hoe oud mag een open taak maximaal zijn? Je kiest een doel dat past bij de gevolgen van fouten of vertraging, niet puur bij techniek.

  • Kies hoe lang je meet, en wat telt als geslaagd.
  • Maak apart onderscheid tussen kritieke en minder dringende processen.
  • Overleg met de proceseigenaar over acceptabele afwijkingen en wanneer actie moet.

Gebruik die afspraken om prioriteiten en verbeteringen te bepalen. Een betrouwbaarheidsdoel hoort mee te veranderen als het proces verandert.

Hoe voorkom ik dat een storing in één automatisering andere workflows platlegt?

Je beperkt de impact van een storing door processen zoveel mogelijk van elkaar los te trekken. Is een externe dienst traag of uit de lucht? Alle andere services die daar niet van afhangen, moeten moeten gewoon door kunnen werken. Zorg ook dat één workflow niet alle gezamenlijke capaciteit opvreet, denk aan verbindingen, slots of iets vergelijkbaars.

  • Zet grenzen op tegelijk draaiende taken en gedeelde bronnen.
  • Gebruik aparte wachtrijen of limieten voor belangrijke processen als dat kan.
  • Laat processen stoppen met taken naar diensten die duidelijk stuk zijn en hervat dat pas gecontroleerd.
  • Test of andere processen blijven lopen als één afhankelijkheid uitvalt.

Daarmee voorkom je dat een klein incident alles om laat vallen en houd je herstel overzichtelijk.

Foto: Sergey Sergeev

Portret van Maarten

Maarten

Freelance developer in Nijmegen

Even kennismaken?

Vertel kort wat er speelt. Dan hoor je wat er kan, wat ik anders zou doen en waar AI bij jou wél en niet iets toevoegt. Vrijblijvend.

Het kantoor in Nijmegen
© 2026 maarten.online Sitemap Privacy Algemene voorwaarden
Het kantoor in Nijmegen

Maarten.

Freelance developer in Nijmegen. Liever direct contact? Dat kan ook.

Kennismaken

Laat je gegevens achter, dan kijken we of het klikt. Vrijblijvend en zonder verkooppraat.

Maarten

Stuur een bericht via WhatsApp

Hoi! Waar kan ik je mee helpen?

nu