Capítulo III · Sección 3 · Obligaciones de los proveedores y responsables del despliegue de sistemas de IA de alto riesgo y de otras partes
Artículo 16 — Obligaciones de los proveedores de sistemas de IA de alto riesgo
▼ Texto primario, literal. Nuestras anotaciones aparecen más abajo, visiblemente separadas.
Los proveedores de sistemas de IA de alto riesgo:
a) velarán por que sus sistemas de IA de alto riesgo cumplan los requisitos definidos en la sección 2;
b) indicarán en el sistema de IA de alto riesgo o, cuando no sea posible, en el embalaje del sistema o en la documentación que lo acompañe, según proceda, su nombre, su nombre comercial registrado o marca registrada y su dirección de contacto;
c) contarán con un sistema de gestión de la calidad que cumpla lo dispuesto en el artículo 17;
d) conservarán la documentación a que se refiere el artículo 18;
e) cuando estén bajo su control, conservarán los archivos de registro generados automáticamente por sus sistemas de IA de alto riesgo a que se refiere el artículo 19;
f) se asegurarán de que los sistemas de IA de alto riesgo sean sometidos al procedimiento pertinente de evaluación de la conformidad a que se refiere el artículo 43 antes de su introducción en el mercado o puesta en servicio;
g) elaborarán una declaración UE de conformidad en virtud de lo dispuesto en el artículo 47;
h) colocará el marcado CE en el sistema de IA de alto riesgo o, cuando no sea posible, en su embalaje o en la documentación que lo acompañe, para indicar la conformidad con el presente Reglamento, de acuerdo con lo dispuesto en el artículo 48;
i) cumplirán las obligaciones de registro a que se refiere el artículo 49, apartado 1;
j) adoptarán las medidas correctoras necesarias y facilitarán la información exigida en el artículo 20;
k) demostrarán, previa solicitud motivada de la autoridad nacional competente, la conformidad del sistema de IA de alto riesgo con los requisitos establecidos en la sección 2;
l) velarán por que el sistema de IA de alto riesgo cumpla requisitos de accesibilidad de conformidad con las Directivas (UE) 2016/2102 y (UE) 2019/882.
Este texto es exclusivamente un instrumento de documentación y no surte efecto jurídico. Las instituciones de la UE no asumen responsabilidad alguna por su contenido. Las versiones auténticas de los actos pertinentes, incluidos sus preámbulos, son las publicadas en el Diario Oficial de la Unión Europea, que pueden consultarse a través de EUR-Lex.
Qué significa para ti
En tus términos · Datos y gobernanza de datos
El linaje de los datos es tuyo: de dónde salió cada conjunto, cómo se preparó, qué lagunas tiene y qué examen de sesgos se ejecutó de verdad.
- Fichas de datos con procedencia
- Informe de examen de sesgos
Cómo se nota el falloAlguien pregunta con qué datos se entrenó el modelo y la respuesta es la ruta de un bucket, sin registro de cómo se compuso el conjunto ni de qué se suponía que representaba.
En tus términos · Datos y gobernanza de datos
El linaje solo se sostiene si el pipeline lo registra: registros por entrenamiento que unen versiones de modelo con versiones exactas de datos.
- Registros de linaje por ejecución
En tus términos · Datos y gobernanza de datos
Los supuestos sobre los datos te toca enunciarlos. El artículo 10, apartado 2, letra d), pide los supuestos sobre qué se supone que miden y representan los datos, y eso es una afirmación de producto sobre una población, no un detalle de ingeniería.
- Supuestos declarados por conjunto de datos
- Nota de representatividad de la población
En tus términos · Datos y gobernanza de datos
El tratamiento de datos sensibles para corregir sesgos tiene sus propias condiciones; esa decisión se toma con tu función de privacidad.
En tus términos · Documentación técnica
El expediente del anexo IV describe tu sistema, y la deriva lo vuelve falso. Genera lo que pueda generarse desde la fuente de verdad en lugar de mantener prosa a mano.
- Expediente técnico del anexo IV
- Generación de documentación integrada en CI
Cómo se nota el falloLa documentación describe el sistema como se diseñó hace dos versiones, y nada en el pipeline la obliga a moverse con el código.
En tus términos · Documentación técnica
La finalidad prevista, tal como se escriba aquí, delimita todo lo demás: decide la clasificación y qué significa uso indebido.
En tus términos · Documentación técnica
Decide pronto si te aplica el formato simplificado para pymes; cambia sustancialmente la carga de documentación.
- Decisión documentada sobre el formato aplicable
En tus términos · Registro automático de eventos
La capacidad de registro es una decisión de diseño, no una configuración que se añade después: los IDs de correlación y la cobertura de eventos viven en el código.
- IDs de correlación de decisiones entre servicios
En tus términos · Registro automático de eventos
El pipeline ya lo tienes. El hueco suele estar en el esquema y la retención: eventos con riqueza suficiente para reconstruir una decisión concreta en una fecha concreta, protegidos frente a manipulación.
Ya tienesUn pipeline de registros y una configuración de retención. El hueco es la fidelidad a nivel de decisión, no la fontanería.
- Esquema de eventos de inferencia
- Almacenamiento de registros a prueba de manipulación
- Runbook de reconstrucción
Cómo se nota el falloUn regulador pregunta por qué ocurrió una decisión en una fecha, y la mejor respuesta disponible es una captura de un panel.
En tus términos · Registro automático de eventos
Esta es la obligación que hace posible responder por qué el sistema decidió algo.
En tus términos · Registro automático de eventos
Los registros de decisiones íntegros y de larga retención son un coste real de almacenamiento y una superficie real de privacidad; presupuesta ambos.
En tus términos · Transparencia e instrucciones para el despliegue
La interpretabilidad de la salida es en parte diseño de interfaz: expón confianza, procedencia y modos de fallo conocidos donde quien despliega pueda verlos.
- Metadatos de salida legibles para quien despliega
En tus términos · Transparencia e instrucciones para el despliegue
Parte de las instrucciones es dato operativo: el artículo 13, apartado 3, letra e), pide los recursos de cómputo y hardware, la vida útil esperada y la cadencia de mantenimiento y actualizaciones. Esos números salen de ti, y lo que quede impreso se convierte en el compromiso que se le exige a operaciones.
- Datos de recursos, vida útil y mantenimiento para las instrucciones
En tus términos · Transparencia e instrucciones para el despliegue
Las instrucciones de uso son un artefacto de producto: para qué sirve el sistema, para qué no debe usarse y qué tiene que preparar quien lo despliega.
- Instrucciones de uso por sistema
Cómo se nota el falloUn responsable del despliegue usa el sistema para algo que en realidad no hace bien, y las instrucciones nunca dijeron dónde estaba el límite.
En tus términos · Supervisión humana
Las vías de parada y anulación tienen que existir en la arquitectura, probadas como cualquier otra ruta crítica.
- Interruptor de parada y anulación, con pruebas
En tus términos · Supervisión humana
La supervisión necesita dientes operativos: alertas sobre las que un humano pueda actuar y un runbook para detener el sistema de verdad.
- Runbook de supervisión
En tus términos · Supervisión humana
La supervisión es una capacidad en tiempo de ejecución con vías de acceso reales: quién puede anular, en qué pantalla y con qué información delante.
- Experiencia de supervisión con vía de anulación
Cómo se nota el falloEl paso de supervisión existe en la pantalla, pero quien lo hace no tiene con qué discrepar del resultado ni cómo detener el sistema.
En tus términos · Precisión, solidez y ciberseguridad
La resistencia a entradas adversarias, inyección de instrucciones y envenenamiento son baterías de pruebas, no adjetivos.
- Batería de pruebas adversarias y de inyección
En tus términos · Precisión, solidez y ciberseguridad
Se declaran una vez y se sostienen cada día después: los niveles de precisión y resiliencia de la documentación se convierten en SLOs de producción con monitorización detrás.
- SLOs de rendimiento del modelo con alertas
Cómo se nota el falloLa precisión declarada en el expediente técnico se separa de las métricas de producción sin que nadie vigile la brecha.
En tus términos · Precisión, solidez y ciberseguridad
El artículo 15, apartado 3, exige que los niveles de precisión y las métricas pertinentes se declaren en las instrucciones de uso. El número que publiques se convierte en la promesa contra la que se mide el sistema, así que es una decisión de producto antes que un benchmark.
- Niveles de precisión y métricas declarados
En tus términos · Precisión, solidez y ciberseguridad
Los niveles declarados van a la documentación técnica; declarar de más crea una brecha permanente entre el papel y producción.
En tus términos · Sistema de gestión de riesgos
Los tratamientos de riesgo se vuelven restricciones de diseño y casos de prueba; cada riesgo identificado debería corresponder a algo señalable en el código.
- Mapa de riesgos a controles en los documentos de diseño
En tus términos · Sistema de gestión de riesgos
La gestión de riesgos no es un documento que se firma una vez. El artículo 9, apartado 2, letra c), la alimenta con el sistema de vigilancia poscomercialización, que es tu telemetría: los riesgos que solo aparecen en producción llegan al registro por ti o no llegan.
- Canal de señales de riesgo desde producción
- Vía de escalado para riesgo emergente
En tus términos · Sistema de gestión de riesgos
El uso indebido previsible es una pregunta de producto: cómo va a usar, y abusar de, esta funcionalidad la gente.
- Análisis de uso indebido previsible por versión
En tus términos · Sistema de gestión de riesgos
Alguien tiene que ser dueño del ciclo: un registro de riesgos vivo, conectado a cómo cambia realmente el sistema y revisado con una cadencia que puedas evidenciar.
- Registro de riesgos vivo con cadencia de revisión
Cómo se nota el falloLa última edición del registro de riesgos es anterior a las tres últimas versiones.
Obligaciones derivadas de este artículo
Escenarios que tocan esta disposición
Una función de cribado de currículums en tu producto
Ilustrativo
Estás a punto de lanzar una función que ordena y filtra candidaturas para las empresas que usan tu producto de contratación.
- Tu rol
- ProveedorResponsable del despliegue
- Dónde encaja
- Alto riesgo 2 dic 2027
- Lo decide
- Anexo III, punto 4, letra a): sistemas destinados a la contratación o selección de personas físicas, en particular para analizar y filtrar solicitudes de empleo y evaluar candidatos.
Qué se aplica
- Sistema de gestión de riesgos
- Datos y gobernanza de datos
- Documentación técnica
- Registro automático de eventos
- Transparencia e instrucciones para el despliegue
- Supervisión humana
- Precisión, solidez y ciberseguridad
- Evaluación de la conformidad
- Declaración UE de conformidad y marcado CE
- Registro en la base de datos de la UE
- Conservación de los registros generados automáticamente
- Vigilancia poscomercialización
- Notificación de incidentes graves
Qué tienes que poder presentar
- Almacenamiento de registros a prueba de manipulación
- Análisis de uso indebido previsible por versión
- Batería de pruebas adversarias y de inyección
- Cadencia de revisión de datos de campo
- Canal de señales de riesgo desde producción
- Clasificación de incidentes con rama regulatoria
- Datos de recursos, vida útil y mantenimiento para las instrucciones
- Decisión de vía de conformidad por sistema
- Decisión documentada sobre el formato aplicable
- Declaración UE de conformidad por sistema
- Entradas de registro por sistema
- Esquema de eventos de inferencia
- Expediente técnico del anexo IV
- Experiencia de supervisión con vía de anulación
- Fichas de datos con procedencia
- Generación de documentación integrada en CI
- IDs de correlación de decisiones entre servicios
- Informe de examen de sesgos
- Instrucciones de uso por sistema
- Interruptor de parada y anulación, con pruebas
- Mapa de riesgos a controles en los documentos de diseño
- Metadatos de salida legibles para quien despliega
- Niveles de precisión y métricas declarados
- Nota de representatividad de la población
- Plan de vigilancia poscomercialización
- Política de retención que cumple el mínimo de seis meses
- Presupuesto de retención y visto bueno del DPD
- Prueba de restauración sobre registros antiguos
- Registro de riesgos vivo con cadencia de revisión
- Registros de linaje por ejecución
- Roles de notificación designados
- Runbook de notificación a la autoridad
- Runbook de reconstrucción
- Runbook de supervisión
- SLOs de rendimiento del modelo con alertas
- Supuestos declarados por conjunto de datos
- Telemetría de campo versionada
- Vía de escalado para riesgo emergente
Qué cambiaría la respuesta
- La excepción del artículo 6, apartado 3, es la única salida, y un sistema que elabora perfiles de personas físicas nunca la cumple. Ordenar candidaturas es difícil de defender como tarea de procedimiento limitada.
- Tus clientes son responsables del despliegue de este sistema y cargan con las obligaciones del artículo 26, incluidas conservar los registros bajo su control e informar a las personas candidatas.
- Un cliente que ponga su propia marca en tu función se convierte en su proveedor conforme al artículo 25, apartado 1, letra a), y tú dejas de serlo.
Si prefieres no leer la ley
La página de fundamentos explica las categorías del propio Reglamento en orden: ámbito, rol, nivel, fecha. La vista de ingeniería agrupa las obligaciones por la capacidad de plataforma que exigen.
Empezar por los fundamentos → Abrir la vista de ingeniería →