Künstliche Intelligenz wandert rasch von eigenständiger Software in physische Produkte. Maschinen, Medizinprodukte, Industrieausrüstung, Roboter, Fahrzeuge, Sicherheitssysteme und vernetzte Produkte nutzen zunehmend KI, um zu erkennen, vorherzusagen, zu steuern, zu klassifizieren oder Entscheidungen zu treffen.
Nach dem EU-Gesetz über künstliche Intelligenz — Verordnung (EU) 2024/1689wirft diese Entwicklung für Hersteller eine wichtige regulatorische Frage auf:
Wenn künstliche Intelligenz in Ihrem Produkt eine sicherheitsrelevante Funktion erfüllt, könnte das KI-System selbst den EU-Konformitätsanforderungen für Hochrisiko-KI unterliegen?
Bei manchen Produkten lautet die Antwort: Ja.
Der AI Act schafft eine direkte Verbindung zwischen KI-Governance und dem etablierten europäischen Rahmen für Produktkonformität. Hersteller müssen daher möglicherweise KI-Risikomanagement, technische Dokumentation, Daten-Governance, menschliche Aufsicht, Cybersicherheit und Beobachtung nach dem Inverkehrbringen neben den bereits zu erfüllenden Produktsicherheitsanforderungen berücksichtigen.
Wann wird KI in einem Produkt zur Hochrisiko-KI?
Der EU AI Act legt mehrere Kategorien von Hochrisiko-KI-Systemen fest.
Eine für Hersteller besonders wichtige Kategorie betrifft KI-Systeme im Zusammenhang mit Produkten, die unter bestehende europäische Produktvorschriften fallen.
Nach Artikel 6 Absatz 1 des AI Act kann ein KI-System als Hochrisiko-System eingestuft werden, wenn zwei Voraussetzungen erfüllt sind:
Das KI-System soll als Sicherheitsbauteil eines Produkts verwendet werden, oder das KI-System ist selbst ein Produkt, das unter einschlägige EU-Harmonisierungsrechtsvorschriften fällt.
Das Produkt oder das KI-System als Produkt muss vor dem Inverkehrbringen oder der Inbetriebnahme in der EU einer Konformitätsbewertung durch Dritte unterzogen werden.
Sind beide Voraussetzungen erfüllt, gilt das KI-System nach dem AI Act als Hochrisiko-System.
Hersteller können die Anwendbarkeit des AI Act nicht einfach anhand der Frage bestimmen, ob ein Produkt künstliche Intelligenz enthält. Die vorgesehene Funktion der KI, ihr Bezug zur Produktsicherheit und die zugrunde liegenden EU-Produktvorschriften müssen gemeinsam betrachtet werden.
Welche Produkte könnten betroffen sein?
KI-fähige Produkte verbreiten sich rasch in Industrie- und Verbrauchermärkten.
Je nach anwendbaren Branchenvorschriften und der Rolle des KI-Systems können potenziell relevante Produktkategorien umfassen:
Die Europäische Kommission hat bei der Erläuterung des Rahmens für die Hochrisiko-Einstufung ausdrücklich produktbezogene Beispiele wie KI-Systeme zur Steuerung von Robotern, Drohnen und Medizinprodukten hervorgehoben. :contentReference[oaicite:1]{index=1}
Nicht jede KI-Funktion macht ein Produkt zum Hochrisiko-Produkt
Das Vorhandensein künstlicher Intelligenz in einem Produkt bedeutet nicht automatisch, dass das Produkt in die Kategorie der Hochrisiko-KI fällt.
Die regulatorische Bewertung hängt von der Zweckbestimmung des KI-Systems und der von ihm ausgeübten Rolle ab.
KI kann Einstellungen optimieren, Empfehlungen geben, die Nutzererfahrung personalisieren oder Funktionen ausüben, die die Produktsicherheit nicht wesentlich beeinflussen.
KI beeinflusst oder erfüllt eine Funktion, deren Versagen die Gesundheit oder Sicherheit von Personen beeinträchtigen könnte, und das zugehörige Produkt unterliegt dem einschlägigen Verfahren der Konformitätsbewertung durch Dritte.
Die Zweckbestimmung des Produkts wird entscheidend
Einer der zentralen Grundsätze der EU-Konformitätsbewertung ist die Festlegung der Zweckbestimmung des Produkts durch den Hersteller.
Dieser Grundsatz gewinnt besondere Bedeutung, wenn künstliche Intelligenz in ein Produkt integriert wird.
Hersteller müssen verstehen:
- welche Funktion das KI-System erfüllt;
- ob die KI-Funktion die Produktsicherheit beeinflusst;
- wie die KI mit Nutzern, Bedienern und anderen Systemen interagiert;
- welche Entscheidungen oder Ausgaben die KI erzeugen kann;
- was geschieht, wenn sich die KI fehlerhaft verhält;
- ob ein menschliches Eingreifen möglich bleibt;
- welche EU-Produktvorschriften zugrunde liegen; und
- ob diese Vorschriften eine Konformitätsbewertung durch Dritte verlangen.
Die KI-Konformitätsbewertung wird Teil der Produktkonformität
Eines der wichtigsten Merkmale des AI Act ist das Bestreben, unnötige doppelte Konformitätsbewertungssysteme zu vermeiden.
Wird ein Hochrisiko-KI-System in ein Produkt integriert, das unter einschlägige Harmonisierungsrechtsvorschriften der Union fällt, werden die Anforderungen des AI Act in das für dieses Produkt vorgeschriebene Konformitätsbewertungsverfahren einbezogen. :contentReference[oaicite:2]{index=2}
Das bedeutet, dass Hersteller zunehmend die Einhaltung beider Bereiche nachweisen müssen:
Sicherheits-, Leistungs-, mechanische, elektrische, funktionale oder andere branchenspezifische Anforderungen nach den anwendbaren EU-Produktvorschriften.
Risikomanagement, Daten-Governance, technische Dokumentation, Aufzeichnungen, Transparenz, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit.
Was müssen Hochrisiko-KI-Systeme nachweisen?
Hochrisiko-KI-Systeme unterliegen einem strukturierten Anforderungskatalog, der eine vertrauenswürdige und kontrollierte Nutzung künstlicher Intelligenz unterstützen soll.
Bevor ein solches System in der EU in Verkehr gebracht oder in Betrieb genommen wird, muss der Anbieter sicherstellen, dass die anwendbaren Anforderungen erfüllt sind und das einschlägige Konformitätsbewertungsverfahren abgeschlossen ist. :contentReference[oaicite:3]{index=3}
Einen systematischen Prozess zur Identifizierung, Bewertung, Beherrschung und Überwachung KI-bezogener Risiken einrichten und aufrechterhalten.
Angemessene Governance- und Qualitätskontrollen für Trainings-, Validierungs- und Testdaten sicherstellen, sofern relevant.
Eine Dokumentation führen, die Systemauslegung, Zweckbestimmung, Funktionsweise und Konformität belegen kann.
Eine angemessene Protokollierung und Rückverfolgbarkeit des Betriebs des KI-Systems ermöglichen, sofern erforderlich.
Ausreichende Informationen bereitstellen, damit Betreiber das System verstehen und angemessen nutzen können.
Geeignete Mechanismen vorsehen, die es Menschen ermöglichen, den Systembetrieb zu überwachen, zu interpretieren oder einzugreifen.
Ein angemessenes Maß an Leistung, Konsistenz, Widerstandsfähigkeit und Fehlertoleranz gewährleisten.
Das Hochrisiko-KI-System vor relevanten Cyberbedrohungen und Manipulation schützen.
Risikomanagement wird zu einem Prozess über den gesamten Lebenszyklus
KI-Risikomanagement kann nicht als einzelnes Dokument behandelt werden, das kurz vor der Zertifizierung erstellt wird.
Nach dem AI Act soll das Risikomanagement als kontinuierlicher, iterativer Prozess über den gesamten Lebenszyklus des Hochrisiko-KI-Systems wirken.
Hersteller und KI-Anbieter sollten daher berücksichtigen, wie Risiken während der Entwicklung erkannt, vor dem Inverkehrbringen beherrscht und nach Einsatz der Produkte neu auftretende Risiken festgestellt werden.
Datenqualität kann zu einer Frage der Produktkonformität werden
Die klassische Produktkonformität konzentrierte sich im Allgemeinen auf die Eigenschaften und die Leistung des physischen Produkts.
Künstliche Intelligenz bringt eine weitere Dimension ein: Die zur Entwicklung, Validierung und Prüfung des Systems verwendeten Daten können beeinflussen, wie zuverlässig das Produkt funktioniert.
Bei Hochrisiko-KI-Systemen wird die Daten-Governance daher Teil des Regulierungsrahmens.
Hersteller, die extern entwickelte KI-Systeme integrieren, benötigen daher möglicherweise erheblich mehr Informationen von Softwareentwicklern und Technologielieferanten, als sie traditionell von Komponentenlieferanten verlangt haben.
Menschliche Aufsicht muss in das Produkt eingeplant werden
Hochrisiko-KI-Systeme benötigen angemessene Regelungen zur menschlichen Aufsicht.
Das angemessene Maß an Aufsicht hängt von der vorgesehenen Verwendung, dem Automatisierungsgrad, den damit verbundenen Risiken und der Fähigkeit der Nutzer oder Bediener ab, das Systemverhalten zu verstehen und zu beeinflussen.
- ob Bediener die KI-Ausgaben verstehen können;
- ob Warnhinweise oder Einschränkungen klar kommuniziert werden;
- ob Menschen die KI-Funktion übersteuern oder stoppen können;
- ob übermäßiges Vertrauen in automatisierte Ausgaben ein Risiko darstellen könnte;
- welche Kompetenz Bediener benötigen; und
- wie Aufsichtsmechanismen bei der Produktprüfung validiert werden.
Cybersicherheit und KI-Sicherheit hängen zunehmend zusammen
KI-fähige Produkte können Cybersicherheitsrisiken schaffen, die das Produktverhalten unmittelbar beeinflussen.
Manipulation von Eingabedaten, Eingriffe in Modelle, unbefugter Systemzugriff oder kompromittierte Softwarekomponenten könnten KI-Ausgaben verändern und damit Sicherheit oder Leistung beeinträchtigen.
Der AI Act zählt Cybersicherheit daher zu den verbindlichen Anforderungen an Hochrisiko-KI-Systeme.
Cybersicherheitszertifizierungen oder Konformitätserklärungen, die im Rahmen bestimmter EU-Cybersicherheitsprogramme ausgestellt werden, können zudem eine Konformitätsvermutung hinsichtlich der entsprechenden Cybersicherheitsanforderungen des AI Act begründen, soweit diese Anforderungen abgedeckt sind. :contentReference[oaicite:4]{index=4}
Die technische Dokumentation muss die KI erläutern
Die technische Dokumentation gewinnt besondere Bedeutung, weil Behörden und Konformitätsbewertungsstellen verstehen müssen, wie das KI-System ausgelegt, validiert und kontrolliert wurde.
Je nach System und anwendbaren Anforderungen muss die Dokumentation unter Umständen Bereiche abdecken wie:
Dies erfordert eine enge Abstimmung zwischen KI-Entwicklern und dem Hersteller, der für das Inverkehrbringen des Endprodukts verantwortlich ist.
Qualitätsmanagementsysteme werden Teil der KI-Compliance
Anbieter von Hochrisiko-KI-Systemen müssen ein Qualitätsmanagementsystem einrichten, das die Einhaltung des AI Act unterstützt. :contentReference[oaicite:5]{index=5}
Dies ist besonders für Hersteller mit bereits etablierten Managementsystemen relevant, da die KI-Governance möglicherweise in bestehende Prozesse für Design, Entwicklung, Lieferanten, Verifizierung, Korrekturmaßnahmen und Marktbeobachtung integriert werden muss.
KI-Anforderungen in Produktentwicklungs- und Änderungssteuerungsprozesse integrieren.
Technische und Compliance-Anforderungen für extern entwickelte KI-Systeme, Modelle und Software festlegen.
Nachweise erbringen, dass die KI-Funktionalität unter angemessenen Bedingungen bestimmungsgemäß funktioniert.
Technische, Risiko-, Prüf- und Compliance-Aufzeichnungen zur Unterstützung der Konformitätsbewertung führen.
Mängel, Vorfälle und Abweichungen steuern, die während der Entwicklung oder im Betrieb nach dem Inverkehrbringen festgestellt werden.
Systemleistung und neu auftretende Risiken überwachen, nachdem das Produkt in Betrieb genommen wurde.
Wann wird eine benannte Stelle eingebunden?
Nicht alle Hochrisiko-KI-Systeme folgen demselben Konformitätsbewertungsweg.
Bei Hochrisiko-KI-Systemen im Zusammenhang mit Produkten, die unter die in Anhang I des AI Act aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, richtet sich das Konformitätsbewertungsverfahren nach dem in den jeweiligen Produktvorschriften vorgeschriebenen Verfahren. Die Anforderungen des AI Act werden Teil dieser Bewertung. :contentReference[oaicite:6]{index=6}
Wenn die zugrunde liegenden Produktvorschriften die Einbindung einer benannten Stelle verlangen, können die einschlägigen KI-Anforderungen daher Teil dieser Konformitätsbewertung durch Dritte werden.
Der Hersteller folgt dem Konformitätsbewertungsverfahren, das in den einschlägigen EU-Produktvorschriften festgelegt ist.
Derselbe Konformitätsrahmen bezieht die anwendbaren Anforderungen des AI Act an das Hochrisiko-KI-System ein.
Die CE-Kennzeichnung verbindet beide Regulierungswelten
Anbieter von Hochrisiko-KI-Systemen, die dem AI Act unterliegen, müssen vor dem Inverkehrbringen die anwendbare Konformitätsbewertung abschließen und eine EU-Konformitätserklärung ausstellen.
Bei produktbezogener Hochrisiko-KI greift dieser Rahmen in das etablierte europäische System der CE-Kennzeichnung ein.
Das Ergebnis ist ein zunehmend integriertes Konformitätsmodell, in dem der Hersteller unter Umständen sowohl die klassische Produktkonformität als auch die Konformität des KI-Systems im Rahmen einer übergreifenden Marktzugangsstrategie nachweisen muss.
Die Frage ist nicht mehr nur, ob eine Maschine oder ein Gerät die europäischen Produktsicherheitsanforderungen erfüllt. Hersteller müssen zunehmend verstehen, ob die Intelligenz, die dieses Produkt steuert, ebenfalls eigene regulatorische Pflichten begründet.
Eine wesentliche Änderung kann eine Neubewertung auslösen
Systeme künstlicher Intelligenz können sich rasch weiterentwickeln.
Software-Updates, Modelländerungen, erneutes Training, geänderte Datensätze oder eine geänderte Zweckbestimmung können das Systemverhalten verändern.
Nach dem AI Act kann eine wesentliche Änderung eine erneute Konformitätsbewertung erfordern, bevor das geänderte System in Verkehr gebracht oder in Betrieb genommen wird. :contentReference[oaicite:7]{index=7}
Die Lieferkette wird komplexer
Viele Hersteller werden nicht jedes KI-System selbst entwickeln.
Produkte können Modelle Dritter, extern entwickelte Software, KI-fähige Komponenten, Cloud-Dienste oder Systeme spezialisierter Technologieunternehmen enthalten.
Daraus ergeben sich neue Fragen für die Lieferkette.
- wer rechtlich als KI-Anbieter auftritt;
- wer die Zweckbestimmung des KI-Systems festlegt;
- welche technischen Informationen der KI-Entwickler bereitstellen muss;
- welche Rechte der Hersteller zur Prüfung oder Auditierung der KI-Technologie hat;
- wie Modell- oder Softwareänderungen kommuniziert werden;
- wer Vorfälle und Korrekturmaßnahmen steuert;
- wie die Verantwortlichkeiten für Cybersicherheit verteilt sind; und
- wie Konformitätsnachweise entlang der Lieferkette aufrechterhalten werden.
Was Hersteller jetzt tun sollten
Hersteller, die künstliche Intelligenz in Produkte integrieren, sollten zunächst genau verstehen, wo KI in ihrem Produktportfolio vorhanden ist und welche Rolle sie spielt.
Produkte mit KI identifizieren und die von diesen Systemen ausgeübten Funktionen dokumentieren.
Die für jedes KI-fähige Produkt geltenden EU-Harmonisierungsrechtsvorschriften ermitteln.
Bestimmen, ob die KI eine Sicherheitsfunktion erfüllt und ob das Produkt eine Konformitätsbewertung durch Dritte erfordert.
Bestehende Entwicklungs-, Prüf-, Risiko- und Qualitätskontrollen mit den anwendbaren Anforderungen des AI Act abgleichen.
Sicherstellen, dass KI-Auslegung, Zweckbestimmung, Daten, Risikomanagement, Validierung und Aufsichtsregelungen nachgewiesen werden können.
Zugang zu den technischen Informationen und Änderungsmitteilungen sicherstellen, die von KI-Technologielieferanten benötigt werden.
KI-Governance mit Designlenkung, Lieferantenmanagement, Verifizierung, Korrekturmaßnahmen und Marktbeobachtung verknüpfen.
Bestimmen, wie die Anforderungen des AI Act in den bestehenden Weg der Produktzertifizierung und der benannten Stelle integriert werden.
Die Hochrisiko-Einstufung wird zu einer kritischen Entscheidung
Die korrekte Einstufung ist eine der wichtigsten frühen Entscheidungen nach dem AI Act.
Im Mai 2026 veröffentlichte die Europäische Kommission Entwürfe von Leitlinien, die Anbietern, Betreibern und Behörden helfen sollen festzustellen, ob KI-Systeme unter die in Artikel 6 festgelegten Hochrisiko-Kategorien fallen. Die Leitlinien behandeln ausdrücklich sowohl in regulierte Produkte integrierte KI als auch KI-Systeme, die unter Anwendungsfälle nach Anhang III fallen. :contentReference[oaicite:8]{index=8}
Hersteller sollten sich daher nicht allein auf informelle Beschreibungen wie „KI-fähig“ oder „smartes Produkt“ verlassen.
Die Einstufung muss auf dem AI Act, der Zweckbestimmung des Systems, den anwendbaren Produktvorschriften und der tatsächlichen Rolle der KI im Produkt beruhen.
Von der Produktsicherheit zur Absicherung intelligenter Produkte
Der EU AI Act stellt eine wichtige Weiterentwicklung der Produktkonformität dar.
Die klassische Produktregulierung konzentrierte sich vor allem auf physische, mechanische, elektrische und funktionale Eigenschaften.
KI-fähige Produkte fügen eine weitere Ebene hinzu: Hersteller müssen zunehmend nachweisen, dass auch die Entscheidungstechnologie im Produkt angemessen gesteuert, geprüft, dokumentiert und überwacht wird.
Dadurch entsteht eine neue Schnittstelle zwischen Produktzertifizierung, Software-Absicherung, KI-Governance, Cybersicherheit, Qualitätsmanagement und Marktzugang.
Ist die KI in Ihrem Produkt bereit für die Konformitätsbewertung?
Hersteller sollten nicht bis zur abschließenden Zertifizierungsphase warten, um festzustellen, ob ein eingebettetes KI-System zusätzliche regulatorische Pflichten begründet.
Eine frühzeitige Prüfung kann Klarheit schaffen über Hochrisiko-Einstufung, anwendbare Produktvorschriften, Anforderungen an die KI-Dokumentation, Prüfbedarf, Verantwortlichkeiten der Lieferanten und den geeigneten Konformitätsbewertungsweg.
Die schwierigste Frage des AI Act für viele Hersteller ist möglicherweise nicht, ob sie künstliche Intelligenz einsetzen. Es wird darum gehen festzustellen, wann diese Intelligenz Teil der regulierten Sicherheitsarchitektur des Produkts wird.