BLOGS
WE SHARE OUR KNOWLEDGE
Challenges in implementing test automation
We conducted a research about implementing test automation within the organizations. Read this blog to learn about the key findings.
The software has changed dramatically from small programs to complex comprehensive IT systems over the last decade. Our lives are increasingly determined by its presence everywhere – right from our toothbrush to our cars. The quality of the software, therefore, stands to be of crucial importance. Organizations, which rely on manual testing methods, have to deal with an increasing pressure on faster time-to-market cycles. Software testers have to work iteratively to ensure the product continues to work even when there are multiple deliveries, resulting in tremendous pressure on the test process. This is where test automation plays an important role.
We conducted research about implementing test automation within the organizations. Based on this research we see that the organizations start enthusiastically with the implementation of test automation, but as time progresses, the enthusiasm decreases and the organization ceases.
Research approach
We examined 17 different projects regarding the implementation of test automation within test and QA organizations of different companies in the Netherlands. As a research method, we used semi-structured interviews. In this case study, the Test Automation Consultants (TACs) who implement or work with test automation were interviewed. This research focused on the question: “What are the positive experiences and challenges with Test Automation within the different organizations in the long run?” Thus, what has happened with the efforts from the past, and what are the changes the test automation will keep running after that one consultant leaves.
Based on interviews, we had positive experiences but faced challenges regarding test automation. The chart below lists the positive experiences and challenges.
Key results of the research:
- There was only one successful application of test automation, which is not a lot and means that test automation needs work, hard work.
- Test automation is started using a project-based approach in various organizations, where the organization and the test professionals are enthusiastic about automating current tests on different levels from a unit to a Graphical User Interface (GUI). The first projects are started successfully, and the agreed deliverables are delivered. The test professionals who are to work with the delivered tool or framework are trained. After the implementations of the tools, some challenges arise, such as maintenance on test scripts or code. This is due to the fact that not all test professionals have the skills to be able to do the maintenance of the test scripts or code. The organizations, however, keep trying test automation and see it as continuous improvement. In an ideal scenario, all the three wheels (as shown in the figure below) need to turn, to have continuous improvement within the organization.
- Most test professionals hired by an organization are outsourced. Thus, test automation remains dependent on individuals or external parties. Transferring the knowledge to the rest of the organization, therefore, becomes a challenge.
- It was also noticeable that not all organizations have a specific test strategy or architecture when implementing test automation. The organizations focus more on automating test scripts instead of thinking of an overall test strategy or architecture for the organization. This results in using tools that do not align with the other tools within the architecture of the organization. And worse – we start testing the wrong things.
The next practical recommendations are based on this research to help the QA & Testing professionals further with test automation.
- Start with the WHAT. What do you want to test and by whom?
- Identify in this the regressions and routine tasks, which can be automated by using test automation tools.
- Maintenance of your test automation is part of your test architecture.
- Make sure that you are doing enough unit testing to avoid finding defects on higher levels.
- Is there enough knowledge regarding test automation within the organization?
- Use it often in your tests to overcome the maintenance bottlenecks.
The learning points from the past are till valid for many organizations.
We know it is not easy to do test automation, however, it is important to have a closer look at your organization and decide what makes sense.
Ethiek van kunstmatige intelligentie
Tegenwoordig is Informatie Technologie overal aanwezig. Steeds meer worden onze levens bepaald en beïnvloed hierdoor. In verschillende sectoren zijn deze ontwikkelingen terug te zien. Onze systemen, apparaten, auto’s en toestellen werken op basis van onze input en bij problemen lossen wij mensen die op. Hoe zou het zijn dat onze apparaten zelf nadenken en ook zelf problemen voor ons oplossen? Daar komt Kunstmatige Intelligentie (of Artificiële Intelligentie – AI) om de hoek kijken. Het idee hiervan is dat zij het denkvermogen van de mens nabootsen. Zij zouden dan in staat moeten zijn om zelfstandig beslissingen te nemen op basis van triggers uit de omgeving. De achterliggende gedachte bij AI is dat een apparaat leert om zelfstandig beslissingen te nemen door patronen te herkennen en algoritmes te volgen. Dit betekent dat zij fouten maken en daarvan leren om nog effectiever te worden. Het is een soort van opvoedingsmechanisme. Dit wordt ook wel Machine Learning genoemd. Op Social Media wordt gebruik gemaakt van algoritmes om aanbevelingen te doen voor filmpjes, reclames etc. Het kan enerzijds grote voordelen hebben voor de mensheid, maar anderzijds vormt het echter ook een risico voor de mens. Omdat zij fouten kunnen maken, die fatale gevolgen kunnen hebben in sommige situaties. Daarom zijn de juridische en ethische kaders van AI zeer belangrijk. Het dilemma van AI is in hoeverre wij onze levens laten bepalen en beïnvloeden door AI.
Cybersecurity: van technisch vraagstuk naar strategisch thema
Tot enkele jaren geleden werd informatiebeveiliging in veel organisaties gezien als een verantwoordelijkheid van de IT-afdeling. Firewall op orde, antivirus geïnstalleerd en klaar. Die tijd ligt inmiddels ver achter ons. Digitalisering, cloudoplossingen, ketensamenwerking en hybride werken hebben organisaties wendbaarder gemaakt, maar ook kwetsbaarder. Cyberveiligheid is daarmee uitgegroeid tot een strategisch thema dat direct raakt aan continuïteit, reputatie en vertrouwen.
Bij Continuous Connect zien wij dagelijks dat cyberincidenten allang niet meer alleen grote multinationals treffen. Juist middelgrote organisaties en (semi)publieke organisaties worden steeds vaker geconfronteerd met phishing, ransomware of datalekken. Niet omdat zij “slordig” zijn, maar omdat hun digitale afhankelijkheid in hoog tempo is gegroeid, terwijl de inrichting van informatiebeveiliging niet of beperkt is georganiseerd.
De werkelijkheid achter cyberdreiging
Cyberaanvallen zijn tegenwoordig zelden spectaculaire. Ze beginnen vaak klein: een ogenschijnlijk onschuldige e-mail, een hergebruikt wachtwoord of een leverancier met onvoldoende beveiligingsmaatregelen. De gevolgen kunnen echter groot zijn. Systemen vallen uit, dienstverlening komt onder druk te staan en bestuurders worden geconfronteerd met kritische vragen van toezichthouders, ketenpartners en klanten. Cybersecurity gaat daarmee niet alleen over techniek, maar vooral over keuzes, prioriteiten en bestuurlijke verantwoordelijkheid.
Houvast in modellen en kaders
Om structuur aan te brengen in dit complexe speelveld maken veel organisaties gebruik van erkende kaders en normen. Twee modellen zien we daarbij in de praktijk regelmatig terug.
De ISO/IEC 27001 biedt een solide basis voor het systematisch inrichten van informatiebeveiliging. Niet door alles dicht te timmeren, maar door risico’s centraal te stellen en deze te vertalen naar beleid, maatregelen en continue verbetering. Organisaties die met ISO 27001 werken, creëren daarmee aantoonbare grip en duidelijkheid.
Het NIST Cybersecurity Framework wordt vaak ingezet als praktisch groeimodel. De vijf kernfuncties (identificeren, beschermen, detecteren, reageren en herstellen) maken cybersecurity bespreekbaar voor zowel IT als management. Het framework helpt organisaties om stap voor stap hun volwassenheid te vergroten, zonder te verzanden in technische details.
In de praktijk vullen deze kaders elkaar goed aan. Waar ISO 27001 helpt bij governance en borging, biedt NIST een herkenbaar en toepasbaar verhaal voor de dagelijkse praktijk.
Cybersecurity begint bij bewustzijn
Wat goed beveiligde organisaties gemeen hebben, is niet per se de meest geavanceerde technologie, maar een gedeeld bewustzijn. Medewerkers begrijpen waarom informatiebeveiliging belangrijk is, managers nemen zichtbaar eigenaarschap en bestuurders stellen de juiste vragen. Cybersecurity wordt dan geen rem op innovatie, maar een randvoorwaarde om veilig en verantwoord te kunnen groeien.
Kleine stappen, groot effect
Een effectieve aanpak hoeft niet groots of complex te zijn. Begin met inzicht in wat écht kritisch is voor de organisatie, betrek het management actief en werk vanuit een helder kader. Oefen incident- en crisisscenario’s, evalueer (bijna-)incidenten en blijf continu verbeteren. Cyberdreigingen ontwikkelen zich voortdurend en een weerbare organisatie beweegt daarin mee
AI in organisaties: waarom AI-governance geen luxe meer is
Kunstmatige intelligentie (AI) ontwikkelt zich razendsnel. Van voorspellende analyses en chatbots tot geautomatiseerde besluitvorming: AI vindt inmiddels zijn weg naar vrijwel alle sectoren. Tegelijkertijd groeit het besef dat AI niet alleen een technologische innovatie is, maar ook een bestuurlijke, ethische en organisatorische uitdaging. Zonder duidelijke kaders kan AI leiden tot risico’s op het gebied van transparantie, rechtmatigheid, veiligheid en vertrouwen. Daarom wordt AI-governance steeds belangrijker.
Wat is AI-governance?
AI-governance omvat het geheel aan afspraken, structuren, rollen en processen waarmee organisaties sturen op het verantwoord ontwikkelen, inzetten en beheersen van AI-toepassingen. Het doel is niet om innovatie te remmen, maar om deze controleerbaar, uitlegbaar en maatschappelijk verantwoord te maken.
Goede AI-governance verbindt technologie met:
- strategie en beleid,
- wet- en regelgeving (zoals de AI Act en AVG),
- ethische uitgangspunten,
- en operationele besluitvorming.
Waarom AI-governance nú noodzakelijk is
Veel organisaties experimenteren al met AI, vaak decentraal en pragmatisch. Dat levert snelheid op, maar ook risico’s:
- AI-modellen waarvan niemand precies weet hoe ze beslissingen nemen;
- Onvoldoende inzicht in datakwaliteit en kans op bias;
- Onduidelijke verantwoordelijkheid bij fouten of ongewenste effecten;
- Spanningen tussen innovatie, compliance en publieke waarden.
Zonder governance ontstaat het risico dat AI organisaties bestuurt, in plaats van andersom. Het is daarom wenselijk dat AI benaderd wordt vanuit een beleidsmatig oogpunt, zodat AI effectief kan worden ingezet en de gewenste resultaten ermee bereikt kunnen worden.
De bouwstenen van effectieve AI-governance
Een volwassen AI-governance-aanpak bestaat doorgaans uit de volgende samenhangende elementen:
1. Strategisch kader
AI moet expliciet verbonden zijn aan organisatiedoelen. Welke problemen willen we oplossen? Waar voegen we waarde toe — en waar juist niet?
2. Duidelijke rollen en verantwoordelijkheden
Wie is eigenaar van AI-toepassingen? Wie toetst op risico’s, ethiek en rechtmatigheid? Denk aan rollen als AI-owner, data-eigenaar, compliance en toezicht.
3. Risico- en impactanalyse
Niet elke AI-toepassing is gelijk. Door toepassingen te classificeren (laag, middel, hoog risico) kan governance proportioneel worden ingericht.
4. Transparantie en uitlegbaarheid
Besluiten die door of met AI worden ondersteund, moeten uitlegbaar zijn voor professionals, bestuurders én burgers. Dit vraagt om documentatie, logging en begrijpelijke modellen.
5. Continue monitoring en evaluatie
AI is geen eenmalig project. Modellen veranderen, data verschuift en contexten ontwikkelen zich. Governance vereist voortdurende toetsing en bijsturing.
AI-governance is óók een verandervraagstuk
Een veelgemaakte misvatting is dat AI-governance vooral een juridische of technische exercitie is. In de praktijk gaat het vooral om besluitvorming en cultuur. Hoe gaan teams om met onzekerheid? Hoe worden aannames expliciet gemaakt? En hoe worden verschillende perspectieven, zoals juridisch, ethisch, technisch en operationeel geïntegreerd?
Organisaties die hierin slagen, gebruiken AI niet alleen slimmer, maar ook zorgvuldiger.
AI biedt grote kansen, maar alleen wanneer organisaties bewust sturen op verantwoord gebruik. AI-governance vormt daarbij het fundament: het zorgt voor grip, vertrouwen en duurzame innovatie.
Niet door AI dicht te regelen, maar door heldere kaders te combineren met professionele ruimte.
Wil je als organisatie stappen zetten richting volwassen AI-governance? Continuous Connect ondersteunt bij het inrichten van governance-structuren, het uitvoeren van AI-risicoanalyses en het effectief inzetten van AI binnen uw organisatie.
Datagedreven werken: van data hebben naar data benutten
Veel organisaties beschikken vandaag de dag over enorme hoeveelheden data. Toch blijkt in de praktijk dat data lang niet altijd leidt tot betere beslissingen. Rapportages worden wel gemaakt, dashboards worden wel bekeken, maar de impact op beleid, uitvoering en sturing blijft vaak beperkt. Datagedreven werken gaat daarom niet primair over technologie, maar over hoe organisaties data inzetten in besluitvorming, beleidsvorming of dagelijks handelen.
Waarom datagedreven werken vaak stokt
In veel organisaties zien we vergelijkbare knelpunten terugkomen:
Data is versnipperd over systemen en afdelingen;
Begrippen worden verschillend geïnterpreteerd of definities verschillen;
Dashboards tonen cijfers, maar geen handelingsperspectief;
Besluiten worden alsnog genomen op basis van hiërarchie of urgentie.
Het gevolg is dat data vooral verantwoording achteraf ondersteunt, in plaats van sturing vooraf.
De samenhang tussen datagedreven werken en governance
Effectief datagedreven werken vraagt om duidelijke afspraken. Zonder governance ontstaat ruis, wantrouwen en interpretatieverschillen. Daarom is datagovernance een onmisbare randvoorwaarde.
Belangrijke elementen daarbij zijn:
1. Eenduidige definities en begrippen
Zonder gedeeld begrippenkader praten afdelingen langs elkaar heen. Een goed ingericht gegevenswoordenboek of datacatalogus vormt hier de basis.
2. Eigenaarschap van data
Wie is verantwoordelijk voor de kwaliteit, actualiteit en betekenis van data? Datagedreven werken vraagt om expliciet data-eigenaarschap.
3. Koppeling met besluitvorming
Data moet aansluiten op concrete besluiten: in managementoverleggen, projecten en uitvoering. Zonder deze koppeling verwordt data tot achtergrondinformatie.
4. Transparantie over aannames en onzekerheden
Data is nooit volledig objectief. Door aannames, definities en onzekerheden expliciet te maken, neemt de kwaliteit van besluiten toe.
Datagedreven werken is ook een cultuurverandering
Net als bij AI-toepassingen geldt dat datagedreven werken niet alleen een technische of analytische opgave is. Het vraagt om een cultuur waarin:
vragen stellen belangrijker is dan gelijk hebben,
cijfers aanleiding zijn voor dialoog, niet voor afrekening,
en professionals worden ondersteund om data te interpreteren en toe te passen.
Organisaties die hierin investeren, zien dat datagedreven werken leidt tot betere prioritering, meer voorspelbaarheid en sterker lerend vermogen.
Datagedreven werken vormt bovendien de basis voor verantwoorde inzet van AI. Zonder goede data, heldere definities en governance is AI simpelweg niet betrouwbaar. In die zin is datagedreven werken geen alternatief voor AI, maar een noodzakelijke voorwaarde.
Datagedreven werken gaat niet over méér data, maar over betere besluitvorming. Organisaties die data, governance en cultuur met elkaar verbinden, creëren rust, samenhang en strategische scherpte. Tevens kunnen organisaties hiermee interoperabel worden en gegevens met elkaar in de sector uitwisselen.
Continuous Connect ondersteunt organisaties bij het inrichten van datagedreven werken: van datagovernance, begrippenkaders tot besluitvormingsstructuren waarin data daadwerkelijk het verschil maakt.