Capítulo III · Sección 2 · Requisitos de los sistemas de IA de alto riesgo
Artículo 15 — Precisión, solidez y ciberseguridad
▼ Texto primario, literal. Nuestras anotaciones aparecen más abajo, visiblemente separadas.
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que alcancen un nivel adecuado de precisión, solidez y ciberseguridad y funcionen de manera uniforme en esos sentidos durante todo su ciclo de vida.
2. Para abordar los aspectos técnicos sobre la forma de medir los niveles adecuados de precisión y solidez establecidos en el apartado 1 y cualquier otro parámetro de rendimiento pertinente, la Comisión, en cooperación con las partes interesadas y organizaciones pertinentes, como las autoridades de metrología y de evaluación comparativa, fomentará, según proceda, el desarrollo de parámetros de referencia y metodologías de medición.
3. En las instrucciones de uso que acompañen a los sistemas de IA de alto riesgo se indicarán los niveles de precisión de dichos sistemas, así como los parámetros pertinentes para medirla.
4. Los sistemas de IA de alto riesgo serán lo más resistentes posible en lo que respecta a los errores, fallos o incoherencias que pueden surgir en los propios sistemas o en el entorno en el que funcionan, en particular a causa de su interacción con personas físicas u otros sistemas. Se adoptarán medidas técnicas y organizativas a este respecto.
La solidez de los sistemas de IA de alto riesgo puede lograrse mediante soluciones de redundancia técnica, tales como copias de seguridad o planes de prevención contra fallos.
Los sistemas de IA de alto riesgo que continúan aprendiendo tras su introducción en el mercado o puesta en servicio se desarrollarán de tal modo que se elimine o reduzca lo máximo posible el riesgo de que los resultados de salida que pueden estar sesgados influyan en la información de entrada de futuras operaciones (bucles de retroalimentación) y se garantice que dichos bucles se subsanen debidamente con las medidas de reducción de riesgos adecuadas.
5. Los sistemas de IA de alto riesgo serán resistentes a los intentos de terceros no autorizados de alterar su uso, sus resultados de salida o su funcionamiento aprovechando las vulnerabilidades del sistema.
Las soluciones técnicas encaminadas a garantizar la ciberseguridad de los sistemas de IA de alto riesgo serán adecuadas a las circunstancias y los riesgos pertinentes.
Entre las soluciones técnicas destinadas a subsanar vulnerabilidades específicas de la IA figurarán, según corresponda, medidas para prevenir, detectar, combatir, resolver y controlar los ataques que traten de manipular el conjunto de datos de entrenamiento («envenenamiento de datos»), o los componentes entrenados previamente utilizados en el entrenamiento («envenenamiento de modelos»), la información de entrada diseñada para hacer que el modelo de IA cometa un error («ejemplos adversarios» o «evasión de modelos»), los ataques a la confidencialidad o los defectos en el modelo.
Este texto es exclusivamente un instrumento de documentación y no surte efecto jurídico. Las instituciones de la UE no asumen responsabilidad alguna por su contenido. Las versiones auténticas de los actos pertinentes, incluidos sus preámbulos, son las publicadas en el Diario Oficial de la Unión Europea, que pueden consultarse a través de EUR-Lex.
Considerando 74 — contexto interpretativo
Los sistemas de IA de alto riesgo deben funcionar de manera uniforme durante todo su ciclo de vida y presentar un nivel adecuado de precisión, solidez y ciberseguridad, a la luz de su finalidad prevista y con arreglo al estado actual de la técnica generalmente reconocido. Se anima a la Comisión y las organizaciones y partes interesadas pertinentes a que tengan debidamente en cuenta la mitigación de los riesgos y las…
Considerando 76 — contexto interpretativo
La ciberseguridad es fundamental para garantizar que los sistemas de IA resistan a las actuaciones de terceros maliciosos que, aprovechando las vulnerabilidades del sistema, traten de alterar su uso, comportamiento o funcionamiento o de poner en peligro sus propiedades de seguridad. Los ciberataques contra sistemas de IA pueden dirigirse contra activos específicos de la IA, como los conjuntos de datos de…
Qué significa para ti
En tus términos · Precisión, solidez y ciberseguridad
La resistencia a entradas adversarias, inyección de instrucciones y envenenamiento son baterías de pruebas, no adjetivos.
- Batería de pruebas adversarias y de inyección
En tus términos · Precisión, solidez y ciberseguridad
Se declaran una vez y se sostienen cada día después: los niveles de precisión y resiliencia de la documentación se convierten en SLOs de producción con monitorización detrás.
- SLOs de rendimiento del modelo con alertas
Cómo se nota el falloLa precisión declarada en el expediente técnico se separa de las métricas de producción sin que nadie vigile la brecha.
En tus términos · Precisión, solidez y ciberseguridad
El artículo 15, apartado 3, exige que los niveles de precisión y las métricas pertinentes se declaren en las instrucciones de uso. El número que publiques se convierte en la promesa contra la que se mide el sistema, así que es una decisión de producto antes que un benchmark.
- Niveles de precisión y métricas declarados
En tus términos · Precisión, solidez y ciberseguridad
Los niveles declarados van a la documentación técnica; declarar de más crea una brecha permanente entre el papel y producción.
Obligaciones derivadas de este artículo
Si prefieres no leer la ley
La página de fundamentos explica las categorías del propio Reglamento en orden: ámbito, rol, nivel, fecha. La vista de ingeniería agrupa las obligaciones por la capacidad de plataforma que exigen.
Empezar por los fundamentos → Abrir la vista de ingeniería →