Eignungsprüfungen und Ringversuche in der Lebensmittelmikrobiologie: was die Normen verlangen und wie man einen z-Score liest

Was eine Eignungsprüfung ist und wie sie sich von anderen Vergleichen unterscheidet

Ein Labor mit validierten Methoden und geschulten Analysten kann eine systematische Abweichung mitschleppen, die von innen niemand bemerkt. Sichtbar wird sie, wenn man die eigenen Ergebnisse mit denen anderer Labore vergleicht, die dasselbe Material untersuchen. ISO/IEC 17043:2023 definiert den Vergleich zwischen Laboratorien (Interlaborvergleich) als Organisation, Durchführung und Bewertung von Messungen oder Prüfungen an gleichen oder ähnlichen Prüfobjekten durch zwei oder mehr Laboratorien unter vorab festgelegten Bedingungen. Die Eignungsprüfung (englisch proficiency testing, PT) ist ein Sonderfall: Sie bewertet die Leistung jedes Teilnehmers anhand vorab festgelegter Kriterien mittels eines Interlaborvergleichs.

Nicht jeder Vergleich bewertet das Labor. Ein Ringversuch zur Ermittlung der Leistungsmerkmale einer Methode, wie die der Normenreihe ISO 16140, die in Validierung und Verifizierung mikrobiologischer Methoden beschrieben wird, misst die Methode und nicht den Teilnehmer.

Was ISO/IEC 17025 verlangt

Abschnitt 7.7 der ISO/IEC 17025:2017 fordert ein Verfahren zur Sicherstellung der Gültigkeit der Ergebnisse. Abschnitt 7.7.1 fasst die internen Maßnahmen zusammen (Referenzmaterialien, Kontrollen, Wiederholungen, Vergleich zwischen Analysten), und 7.7.2 ergänzt den Blick von außen: Das Labor muss seine Leistung überwachen, indem es sie mit den Ergebnissen anderer Labore vergleicht, durch Eignungsprüfungen oder andere Interlaborvergleiche, sofern diese verfügbar und angemessen sind. Den allgemeinen Rahmen der Akkreditierung bietet Akkreditierung nach ISO/IEC 17025 in Lebensmittellaboren.

Die Politik ILAC-P9:01/2024, die von den Akkreditierungsstellen angewandt wird, die das Abkommen zur gegenseitigen Anerkennung der ILAC unterzeichnet haben, übersetzt diese Anforderung in konkrete Regeln:

• Die Teilnahme gilt als verpflichtend, wenn die Eignungsprüfung verfügbar und angemessen ist und nach der Risikoanalyse des Labors als notwendig erachtet wird.
• Das Labor muss einen Teilnahmeplan haben, und die Akkreditierungsstelle bewertet ihn vor der Erteilung der Akkreditierung, um zu prüfen, ob er den Geltungsbereich repräsentativ abdeckt.
• Ist die Leistung nicht zufriedenstellend, bewertet die Stelle die Nachweise für rasche und angemessene Korrekturmaßnahmen.

Umfang und Häufigkeit der Teilnahme

Niemand nimmt an einer Eignungsprüfung für jede Kombination aus Methode, Analyt und Matrix teil. ILAC-P9 schlägt in Anlehnung an den Leitfaden EA-4/18 G:2021 vor, den Geltungsbereich in Bereiche technischer Kompetenz zu gliedern: Kombinationen aus Technik, Merkmal und Produkt, die so gleichwertig sind, dass das Ergebnis einer Kombination die übrigen repräsentiert. Verschiedene Techniken passen selten in denselben Bereich; verschiedene Produkte durchaus, wenn die Matrizes gleichartig sind. Die Mindesthäufigkeit je Bereich legt das Labor risikobasiert fest: Analysenvolumen, Personalfluktuation und Erfahrung des Personals, Stabilität von Analyt und Matrix, Robustheit der Methode und Verwendungszweck der Daten. Der Leitfaden nennt die Lebensmittelsicherheit unter den Bereichen, die ein hohes Maß an Absicherung erfordern.

Die drei Normen, auf denen eine Eignungsprüfung in der Mikrobiologie beruht

ISO/IEC 17043:2023: die Kompetenz des Anbieters

Sie legt die Anforderungen an Kompetenz und Unparteilichkeit der Anbieter von Eignungsprüfungen fest. Die zweite Ausgabe vom Mai 2023 ersetzte die von 2010, die laut ILAC-P9 bis Mai 2026 gültig blieb. Für den Teilnehmer lautet die praktische Frage, ob der Anbieter von einer Unterzeichnerstelle des ILAC-Abkommens nach dieser Norm akkreditiert ist, denn das ist der anerkannte Weg, seine Kompetenz nachzuweisen.

ISO 13528:2022: die Statistik

Sie beschreibt die statistischen Verfahren zur Gestaltung der Programme und zur Auswertung ihrer Daten und gibt Empfehlungen zur Interpretation der Ergebnisse, sowohl quantitativer als auch qualitativer. Die dritte Ausgabe stammt vom August 2022 und hat eine 2026 veröffentlichte Änderung. Hier finden sich die Verfahren zur Festlegung des zugewiesenen Werts (des Referenzwerts der Runde), der Standardabweichung für die Eignungsbeurteilung (σ_pt, die festlegt, wie viel toleriert wird) und der Leistungskennzahlen.

ISO 22117:2019: das Spezifische der Mikrobiologie

Sie ersetzte die Technische Spezifikation ISO/TS 22117:2010 und wurde bei ihrer systematischen Überprüfung bestätigt. Sie legt Anforderungen und Leitlinien für die Organisation von Eignungsprüfungsprogrammen in der Mikrobiologie von Lebensmitteln und Getränken, Futtermitteln, Umgebungsproben aus der Herstellung und Handhabung von Lebens- und Futtermitteln sowie der Primärproduktion fest; ebenso für Wasser, das in der Lebensmittelherstellung verwendet wird oder nach nationalem Recht als Lebensmittel gilt. Sie umfasst die technische Organisation des Programms und die statistische Behandlung der Ergebnisse und ist für die Anwendung zusammen mit ISO/IEC 17043 und ISO 13528 gedacht: Sie ergänzt nur das, was die Mikrobiologie zusätzlich braucht. Ein Beispiel ist die Vorbereitung des Materials: Ein Programm von 2021 in Indien für Listeria monocytogenes und Salmonella in gefriergetrockneten Garnelen prüfte Homogenität und Stabilität des Prüfobjekts während der Lagerung (bis zu 28 Tage) und des Transports (bis zu 6 Tage), bevor es versandt wurde.

Wie man einen z-Score liest

Die gebräuchlichste Kennzahl ist der z-Score: z = (x_i − x_pt) / σ_pt, wobei x_i das Ergebnis des Labors, x_pt der zugewiesene Wert und σ_pt die Standardabweichung für die Beurteilung ist. Die übliche Interpretation, aus ISO 13528 übernommen und im Eurachem-Leitfaden von 2021 aufgegriffen, lautet:

• |z| ≤ 2,0: zufriedenstellende Leistung, kein Signal.
• 2,0 < |z| < 3,0: fragwürdige Leistung, Warnsignal.
• |z| ≥ 3,0: unbefriedigende Leistung, Eingriffssignal.

Ein anschauliches Beispiel: Ist der zugewiesene Wert einer Keimzahl 4,20 log KBE/g, beträgt σ_pt 0,25 log und meldet das Labor 4,85 log KBE/g, dann ist z = 0,65 / 0,25 = 2,6: fragwürdig. Was eine KBE darstellt und wie eine Keimzahl interpretiert wird, erklärt was KBE sind.

Zwei Hinweise. Erstens hängt der z-Score von σ_pt ab: Je größer sie ist, desto kleiner ist z und desto besser erscheint die Leistung; man sollte daher prüfen, ob dieser Wert für den Verwendungszweck der eigenen Ergebnisse sinnvoll ist. Zweitens berücksichtigt der z-Score nicht die Unsicherheit des zugewiesenen Werts. Ist diese Standardunsicherheit kleiner als 0,3·σ_pt, gilt sie als vernachlässigbar; andernfalls muss der Anbieter eine andere Art der Festlegung des zugewiesenen Werts oder Kennzahlen verwenden, die sie einbeziehen, wie z′ oder Zeta (ζ), oder die Teilnehmer informieren. Der Zusammenhang zwischen diesen Kennzahlen und der Messunsicherheit des eigenen Labors wird in Nachweisgrenze und Messunsicherheit behandelt.

Qualitative Prüfungen: wenn das Ergebnis nachgewiesen oder nicht nachgewiesen lautet

Die meisten Untersuchungen auf Krankheitserreger sind An-/Abwesenheitsprüfungen, und dort ist es nicht sinnvoll, Mittelwerte oder Standardabweichungen zu berechnen. ISO 13528 sieht vor, den zugewiesenen Wert über die bekannte Herstellung des Prüfobjekts, über Referenzmaterialien oder durch Expertenurteil festzulegen, und die Leistung wird anhand von Trefferkriterien bei positiven und negativen Proben bewertet. Die Eignungsprüfung 2024 des EU-Referenzlabors für Salmonella, deren Grunddesign auf ISO 22117 beruht, zeigt, wie das geht:

• Es nahmen 68 nationale Referenzlabore teil, die mit EN ISO 6579-1 Stofftupfer untersuchten, die auf verschiedenen Niveaus mit S. Typhimurium kontaminiert waren, sowie nicht kontaminierte Proben.
• Das Kriterium für gute Leistung verlangte mindestens 2 von 3 Positiven auf dem hohen Niveau (37,5 KBE pro Probe), mindestens 2 von 4 auf dem niedrigen Niveau (4,5 KBE pro Probe) und 0 von 3 Positiven bei den negativen Proben.
• Fünfundsechzig Labore erfüllten es. Eines versagte auf dem niedrigen Niveau, wies seine Fähigkeit aber mit Proben eines besonders niedrigen Niveaus nach, und seine Bewertung wurde auf mäßige Leistung angehoben. Zwei weitere wurden nicht bewertet, weil das Paket 25 Tage unterwegs war und das Überleben der Bakterien nicht gewährleistet werden konnte.

Dieser letzte Punkt ist lehrreich: Ein schlechtes Ergebnis kann am Prüfobjekt liegen und nicht am Labor. In den beiden erwähnten Runden in Indien hatten rund 16 % der Labore jeder Runde unbefriedigende Ergebnisse, fast alle durch falsch positive Befunde. Als wahrscheinliche Ursachen nannten die Autoren eine fehlerhafte Rekonstitution der Probe oder zu wenig Zeit zwischen Rekonstitution und Analyse, Bedienungsfehler, Kreuzkontamination sowie Fehler bei der Identifizierung oder Bestätigung typischer Kolonien. Letzteres knüpft an das an, was in präsumtives vs. bestätigtes Ergebnis erklärt wird. In Frankreich organisierten die nationalen Referenzlabore zwischen 2019 und 2021 ein gemeinsames Programm für die amtlichen Labore mit durchschnittlich 65 Teilnehmern pro Jahr.

Was bei einem fragwürdigen oder unbefriedigenden Ergebnis zu tun ist

Der Eurachem-Leitfaden ist im Grundsatz eindeutig: Jedes unbefriedigende Ergebnis muss untersucht und dokumentiert werden, und die Bewertung wird auch dann aufgezeichnet, wenn beschlossen wird, keine Maßnahmen zu ergreifen. Ein einzelnes schlechtes Ergebnis beweist nicht, dass das Labor inkompetent ist, doch wiederholt schlechte Leistung weist auf ein ernstes Problem hin, und dann sollte das Labor erwägen, diese Prüfung nicht mehr anzubieten, bis das Problem gelöst ist. Die Untersuchung wird im Verfahren des Labors für Nichtkonformitäten abgewickelt. Eine praktische Reihenfolge:

• Den Bericht prüfen. Bestätigen, dass die veröffentlichten Ergebnisse die übermittelten sind, und verstehen, wie die Kennzahl berechnet wurde.
• Administrative Fehler ausschließen. Übertragung, Beschriftung, Dezimalstellen oder Einheiten. Wiederholen sie sich, liegt das Problem im Managementsystem, nicht in der Technik.
• Den technischen Teil prüfen. Lagerung und Rekonstitution des Prüfobjekts, Daten der internen Kontrolle des Laufs, Geräte, Reagenzien und Kalibrierung, Umgebungsbedingungen und Datenverarbeitung. In der Mikrobiologie gehört dazu die Leistungsprüfung der Nährmedien, beschrieben in Qualitätskontrolle von Nährmedien nach ISO 11133, und bei Einsatz der PCR die Kontrollen, die in Kontrollen einer PCR erklärt werden.
• Das Programm prüfen. Matrixunterschiede zu den Routineproben, Verschlechterung des Prüfobjekts, Niveaus außerhalb des Methodenbereichs, ungeeigneter zugewiesener Wert oder ungeeignete σ_pt, falsch gewählte Vergleichsgruppe oder Fehler des Anbieters.
• Den Kreis schließen. Die Ursache anhand der Rohdaten, der gesamten Runde, früherer Runden und der internen Kontrolle analysieren; die Korrekturmaßnahme planen, durchführen und aufzeichnen und ihre Wirksamkeit verifizieren, idealerweise durch eine erneute Teilnahme.

Für fragwürdige Ergebnisse empfiehlt Eurachem festzulegen, wann sie zu untersuchen sind: zum Beispiel bei wiederholt fragwürdigen Kennzahlen oder bei aufeinanderfolgenden Ergebnissen mit demselben Vorzeichen der Abweichung.

Wie man den größten Nutzen daraus zieht

Das Prüfobjekt sollte wie eine Routineprobe behandelt werden: gleiche Methode, gleicher Ablauf und dieselben Analysten, die auch die üblichen Proben bearbeiten. Es empfiehlt sich, Programme zu wählen, deren Matrix und Niveau der Routine ähneln, und die verwendete Methode anzugeben; in der europäischen Eignungsprüfung 2024 meldeten zwanzig Labore zusätzlich die Ergebnisse einer zweiten Methode.

Welche Beziehung die TAAG-Kits zu Eignungsprüfungen haben

TAAG organisiert keine Eignungsprüfungen und stellt keine Materialien dafür her. Ein Labor, das ein TAAG-Kit in der Routine einsetzt, muss diese Methode jedoch in seinem Teilnahmeplan abdecken. Zwei Beispiele aus dem Katalog sind Ampliora 1.1 Salmonella spp. (V-SF97, Real-Time-PCR mit Fluoreszenzsonden, Design mit Mila), mit einer angegebenen Sensitivität von 1 KBE/25 g und validierten Matrizes rohe Hähnchenschenkel, tiefgefrorene Rindfleisch-Burger, Longanicilla-Wurst, Mortadella und Oberfläche, und Specio 2.3 Listeria spp. and L. monocytogenes (V-SF04, Real-Time-PCR mit Schmelzkurve), mit einer angegebenen Sensitivität von 1 KBE/25 g in Lebensmitteln und den angegebenen Matrizes Lebensmittel, Getränke sowie lebende und inerte Oberflächen. Beide sind qualitativ: Ein Positivbefund ist präsumtiv, bis er bestätigt ist. Der Katalog verzeichnet für diese Kits keine Zertifizierungen durch Dritte; ein gutes Ergebnis in einer Eignungsprüfung belegt daher die Leistung des Labors mit dieser Methode, ersetzt aber nicht die Validierung gegen das Referenzverfahren, die die Normenreihe ISO 16140 verlangt, um sie an dessen Stelle einzusetzen. Gehört die Matrix des Programms nicht zu den angegebenen, sollte man den Anwendungsbereich vor der Teilnahme mit TAAG klären.