Vaardigheidstoetsing en ringonderzoek in de levensmiddelenmicrobiologie: wat de normen eisen en hoe je een z-score leest

Wat een vaardigheidstoets is en hoe hij verschilt van andere vergelijkingen

Een laboratorium met gevalideerde methoden en opgeleide analisten kan een systematische afwijking meedragen die niemand van binnenuit opmerkt. De manier om die te zien, is de resultaten vergelijken met die van andere laboratoria die hetzelfde materiaal analyseren. ISO/IEC 17043:2023 definieert de interlaboratoriumvergelijking als de organisatie, uitvoering en beoordeling van metingen of beproevingen op dezelfde of vergelijkbare items door twee of meer laboratoria, volgens vooraf bepaalde voorwaarden. De vaardigheidstoets (in het Engels proficiency testing of PT) is een bijzonder geval: hij beoordeelt de prestatie van elke deelnemer aan de hand van vooraf vastgestelde criteria, door middel van een interlaboratoriumvergelijking.

Niet elke vergelijking beoordeelt het laboratorium. Een interlaboratoriumstudie om de prestatiekenmerken van een methode vast te stellen, zoals die uit de reeks ISO 16140 die wordt beschreven in validatie en verificatie van microbiologische methoden, meet de methode en niet de deelnemer.

Wat ISO/IEC 17025 eist

Clausule 7.7 van ISO/IEC 17025:2017 vraagt een procedure om de geldigheid van de resultaten te waarborgen. Paragraaf 7.7.1 bundelt de interne maatregelen (referentiematerialen, controles, herhalingen, vergelijking tussen analisten) en 7.7.2 voegt de externe blik toe: het laboratorium moet zijn prestatie volgen door haar te vergelijken met de resultaten van andere laboratoria, via vaardigheidstoetsen of andere interlaboratoriumvergelijkingen, wanneer die beschikbaar en geschikt zijn. Het algemene kader van de accreditatie staat in ISO/IEC 17025-accreditatie in levensmiddelenlaboratoria.

Het beleid ILAC-P9:01/2024, dat wordt toegepast door de accreditatie-instellingen die de overeenkomst voor wederzijdse erkenning van ILAC hebben ondertekend, vertaalt die eis in concrete regels:

• Deelname wordt als verplicht beschouwd wanneer de vaardigheidstoets beschikbaar en geschikt is en op basis van de risicoanalyse van het laboratorium nodig wordt geacht.
• Het laboratorium moet een deelnameplan hebben, en de accreditatie-instelling beoordeelt dat vóór de toekenning van de accreditatie om na te gaan of het de reikwijdte representatief dekt.
• Wanneer de prestatie niet voldoet, beoordeelt de instelling het bewijs van snelle en passende corrigerende maatregelen.

Niveau en frequentie van deelname

Niemand neemt deel aan een toets voor elke combinatie van methode, analyt en matrix. ILAC-P9 stelt, in navolging van richtsnoer EA-4/18 G:2021, voor de reikwijdte in te delen in technische competentiegebieden: combinaties van techniek, kenmerk en product die gelijkwaardig genoeg zijn om het resultaat van de ene representatief te laten zijn voor de andere. Verschillende technieken passen zelden in hetzelfde gebied; verschillende producten wel, als de matrices van gelijkwaardige aard zijn. De minimale frequentie per gebied bepaalt het laboratorium op basis van het risico: analysevolume, verloop en ervaring van het personeel, stabiliteit van analyt en matrix, robuustheid van de methode en eindgebruik van het gegeven. Het richtsnoer noemt voedselveiligheid als een van de gebieden die een hoog niveau van borging vereisen.

De drie normen die een vaardigheidstoets in de microbiologie dragen

ISO/IEC 17043:2023: de competentie van de aanbieder

Ze legt de eisen vast voor competentie en onpartijdigheid van aanbieders van vaardigheidstoetsen. De tweede editie, van mei 2023, verving die van 2010, die volgens ILAC-P9 geldig bleef tot mei 2026. Voor de deelnemer is de praktische vraag of de aanbieder volgens deze norm is geaccrediteerd door een instelling die de ILAC-overeenkomst heeft ondertekend, wat de erkende manier is om zijn competentie aan te tonen.

ISO 13528:2022: de statistiek

Ze beschrijft de statistische methoden om de schema's op te zetten en hun gegevens te analyseren, en geeft aanbevelingen voor de interpretatie van de resultaten, zowel kwantitatieve als kwalitatieve. De derde editie is van augustus 2022 en heeft een amendement dat in 2026 werd gepubliceerd. Hier staan de methoden om de toegekende waarde (de referentiewaarde van de ronde), de standaardafwijking voor de vaardigheidsbeoordeling (σ_pt, die bepaalt hoeveel wordt getolereerd) en de prestatiescores vast te stellen.

ISO 22117:2019: het specifieke van de microbiologie

Ze verving de technische specificatie ISO/TS 22117:2010 en werd bij haar periodieke herziening bevestigd. Ze stelt eisen en geeft richtlijnen voor het organiseren van vaardigheidstoetsschema's in de microbiologie van levensmiddelen en dranken, diervoeders, omgevingsmonsters uit de productie en hantering van levensmiddelen en diervoeders, en primaire productie; ook van water dat bij de productie van levensmiddelen wordt gebruikt of volgens de nationale wetgeving als levensmiddel wordt beschouwd. Ze omvat de technische organisatie van het schema en de statistische verwerking van de resultaten, en is bedoeld om samen met ISO/IEC 17043 en ISO 13528 te worden gebruikt: ze voegt alleen toe wat de microbiologie aanvullend nodig heeft. Een voorbeeld is de bereiding van het materiaal: een schema uit 2021 in India voor Listeria monocytogenes en Salmonella in gevriesdroogde garnalen controleerde de homogeniteit en de stabiliteit van het item tijdens opslag (tot 28 dagen) en transport (tot 6 dagen) voordat het werd verzonden.

Hoe je een z-score leest

De meest gebruikte score is de z-score: z = (x_i − x_pt) / σ_pt, waarbij x_i het resultaat van het laboratorium is, x_pt de toegekende waarde en σ_pt de standaardafwijking voor de beoordeling. De gebruikelijke interpretatie, ontleend aan ISO 13528 en overgenomen in het Eurachem-richtsnoer van 2021, is:

• |z| ≤ 2,0: voldoende prestatie, geen signaal.
• 2,0 < |z| < 3,0: twijfelachtige prestatie, waarschuwingssignaal.
• |z| ≥ 3,0: onvoldoende prestatie, actiesignaal.

Een illustratief voorbeeld: als de toegekende waarde van een telling 4,20 log KVE/g is, σ_pt 0,25 log bedraagt en het laboratorium 4,85 log KVE/g rapporteert, is z = 0,65 / 0,25 = 2,6: twijfelachtig. Wat een KVE voorstelt en hoe een telling wordt geïnterpreteerd, wordt uitgelegd in wat KVE zijn.

Twee waarschuwingen. Ten eerste hangt de z-score af van σ_pt: hoe groter die is, hoe kleiner z en hoe beter de prestatie lijkt, dus het is goed na te gaan of die waarde zinvol is voor het gebruik dat het laboratorium van zijn resultaten maakt. Ten tweede houdt de z-score geen rekening met de onzekerheid van de toegekende waarde. Als die standaardonzekerheid kleiner is dan 0,3·σ_pt, wordt ze als verwaarloosbaar beschouwd; zo niet, dan moet de aanbieder een andere manier gebruiken om de toegekende waarde vast te stellen, scores gebruiken die haar meenemen, zoals z′ of zeta (ζ), of de deelnemers informeren. Het verband tussen deze scores en de onzekerheid van het eigen laboratorium wordt behandeld in detectielimiet en meetonzekerheid.

Kwalitatieve bepalingen: wanneer het resultaat aangetoond of niet aangetoond is

Het merendeel van de analyses op pathogenen is gericht op aanwezigheid of afwezigheid, en dan heeft het geen zin gemiddelden of standaardafwijkingen te berekenen. ISO 13528 voorziet erin de toegekende waarde vast te stellen op basis van de bekende bereiding van het item, referentiematerialen of deskundig oordeel, en de prestatie wordt beoordeeld met criteria voor juiste uitkomsten op positieve en negatieve monsters. De toets van 2024 van het EU-referentielaboratorium voor Salmonella, waarvan de algemene opzet op ISO 22117 is gebaseerd, laat zien hoe dat gaat:

• Er namen 68 nationale referentielaboratoria deel, die met EN ISO 6579-1 stoffen swabs analyseerden die op verschillende niveaus met S. Typhimurium waren besmet, en niet-besmette monsters.
• Het criterium voor een goede prestatie vereiste ten minste 2 van 3 positieven op het hoge niveau (37,5 KVE per monster), ten minste 2 van 4 op het lage niveau (4,5 KVE per monster) en 0 van 3 positieven bij de negatieve monsters.
• Vijfenzestig laboratoria voldeden. Eén faalde op het lage niveau, maar toonde zijn vermogen aan met monsters van een extra laag niveau en zijn beoordeling werd gewijzigd in matige prestatie. Twee andere werden niet beoordeeld omdat het pakket er 25 dagen over deed om aan te komen en de overleving van de bacterie niet kon worden gegarandeerd.

Dat laatste punt leert iets: een slecht resultaat kan aan het item liggen en niet aan het laboratorium. In de twee genoemde Indiase rondes had ongeveer 16 % van de laboratoria per ronde onvoldoende resultaten, bijna allemaal door fout-positieven. De auteurs noemden als waarschijnlijke oorzaken een onjuiste reconstitutie van het monster of onvoldoende tijd tussen reconstitutie en analyse, operationele fouten, kruisbesmetting en tekortkomingen bij de identificatie of bevestiging van typische kolonies. Dat laatste sluit aan bij wat wordt uitgelegd in presumptief vs. bevestigd resultaat. In Frankrijk organiseerden de nationale referentielaboratoria tussen 2019 en 2021 een gemeenschappelijk schema voor de officiële laboratoria, met gemiddeld 65 deelnemers per jaar.

Wat te doen bij een twijfelachtig of onvoldoende resultaat

Het Eurachem-richtsnoer is duidelijk over het principe: elk onvoldoende resultaat moet worden onderzocht en gedocumenteerd, en de beoordeling wordt vastgelegd, ook als wordt besloten geen maatregelen te nemen. Eén slecht resultaat bewijst niet dat het laboratorium incompetent is, maar herhaaldelijk slechte prestaties wijzen op een ernstig probleem, en dan zou het laboratorium moeten overwegen die bepaling niet meer aan te bieden totdat het is opgelost. Het onderzoek wordt afgehandeld binnen de procedure voor afwijkingen van het laboratorium. Een praktische volgorde:

• Het rapport nalopen. Bevestigen dat de gepubliceerde resultaten de ingestuurde zijn en begrijpen hoe de score werd berekend.
• Administratieve fouten uitsluiten. Overschrijven, etikettering, decimalen of eenheden. Als ze terugkeren, zit het probleem in het managementsysteem, niet in de techniek.
• Het technische deel nalopen. Opslag en reconstitutie van het item, gegevens van de interne controle van de run, apparatuur, reagentia en kalibratie, omgevingsomstandigheden en gegevensverwerking. In de microbiologie hoort daar de prestatiecontrole van de media bij die wordt beschreven in kwaliteitscontrole van media volgens ISO 11133 en, als PCR werd gebruikt, de controles die worden uitgelegd in controles bij een PCR.
• Het schema nalopen. Matrixverschillen met de routinemonsters, achteruitgang van het item, niveaus buiten het bereik van de methode, een ongeschikte toegekende waarde of σ_pt, een slecht gekozen vergelijkingsgroep of fouten van de aanbieder.
• De cirkel sluiten. De oorzaak analyseren met de ruwe gegevens, de volledige ronde, de vorige rondes en de interne controle; de corrigerende maatregel plannen, uitvoeren en vastleggen, en de doeltreffendheid ervan verifiëren, bij voorkeur met een nieuwe deelname.

Voor twijfelachtige resultaten stelt Eurachem voor vast te leggen wanneer ze worden onderzocht: bijvoorbeeld bij herhaalde twijfelachtige scores of opeenvolgende resultaten met hetzelfde teken van de afwijking.

Hoe je er voordeel uit haalt

Het item moet als een routinemonster worden behandeld: dezelfde methode, dezelfde workflow en de analisten die de gewone monsters verwerken. Het is goed schema's te kiezen waarvan matrix en niveau op de routine lijken en de gebruikte methode te rapporteren; bij de Europese toets van 2024 rapporteerden twintig laboratoria ook de resultaten van een tweede methode.

Welk verband de TAAG-kits met vaardigheidstoetsen hebben

TAAG organiseert geen vaardigheidstoetsen en produceert er geen materialen voor. Maar een laboratorium dat een TAAG-kit routinematig gebruikt, moet die methode in zijn deelnameplan opnemen. Twee voorbeelden uit de catalogus zijn Ampliora 1.1 Salmonella spp. (V-SF97, realtime-PCR met fluorescente probes, ontworpen met Mila), met een aangegeven gevoeligheid van 1 KVE/25 g en als gevalideerde matrices rauwe kippendij, diepgevroren rundvleesburger, dunne longaniza-worst, mortadella en oppervlak, en Specio 2.3 Listeria spp. and L. monocytogenes (V-SF04, realtime-PCR met smeltcurve), met een aangegeven gevoeligheid van 1 KVE/25 g in levensmiddelen en als aangegeven matrices levensmiddelen, dranken en levende en inerte oppervlakken. Beide zijn kwalitatief: een positief resultaat is presumptief tot het is bevestigd. De catalogus vermeldt geen certificeringen door derden voor deze kits, zodat een goed resultaat in een vaardigheidstoets de prestatie van het laboratorium met die methode aantoont, maar niet de validatie tegen de referentiemethode vervangt die de reeks ISO 16140 eist om hem in plaats daarvan te gebruiken. Als de matrix van het schema niet bij de aangegeven matrices hoort, is het goed het toepassingsgebied met TAAG te bevestigen voordat je deelneemt.