¡Descubre GoogleTest, con certificación TÜV y la tecnología Agentic AI para pruebas de C/C++!
Obtenga los detalles »
WEBINAR
A medida que la IA se integra en sistemas críticos para la seguridad, modifica algunos de los supuestos fundamentales de la ingeniería de seguridad tradicional. Un sistema de IA puede funcionar exactamente como se diseñó y aun así producir un resultado inseguro debido a limitaciones en sus datos, capacidades o condiciones de funcionamiento.
La norma ISO/PAS 8800 proporciona un marco para abordar estos desafíos. Desarrollada para la IA utilizada en vehículos de carretera, funciona junto con la ISO 26262 y la SOTIF para abordar los riesgos específicos de la IA a lo largo de todo el ciclo de vida de la seguridad, desde los requisitos, los datos y el desarrollo del modelo hasta la verificación, la implementación y la monitorización operativa.
Vea este seminario web para aprender cómo la norma ISO/PAS 8800 aborda la seguridad de la IA a nivel de sistema y cómo las organizaciones pueden reunir las pruebas necesarias para demostrar que los sistemas habilitados para IA son aceptablemente seguros.
Lo que aprenderás:
La seguridad de la IA no consiste en demostrar que un modelo de IA nunca cometerá errores, sino en diseñar todo el sistema de manera que las limitaciones de la IA no se conviertan en riesgos de seguridad inaceptables.
Con el software convencional, un comportamiento inseguro suele deberse a un fallo o defecto identificable, como un código incorrecto, un error en las especificaciones o un fallo de hardware. Los ingenieros pueden identificar la causa, corregirla y verificar el cambio.
La IA plantea otro desafío. Un modelo de detección de peatones podría funcionar exactamente como se diseñó, pero no lograr reconocer a una persona bajo una lluvia intensa, iluminación inusual u otra condición que no estuviera adecuadamente representada en sus datos de entrenamiento.
Esta distinción es fundamental para la norma ISO/PAS 8800. La seguridad de la IA no se trata solo de demostrar que un modelo es fiable, sino de controlar el riesgo en todo el sistema.
Ese sistema puede incluir:
Si un vehículo no detecta a un peatón, la causa podría ser la mala calidad de los datos de entrenamiento, una limitación del modelo, un defecto en el preprocesamiento, un fallo del sensor o un problema en el software convencional. Cada causa requiere una respuesta diferente.
La norma ISO/PAS 8800 se desarrolló para la IA utilizada en vehículos de carretera de producción, pero sus principios pueden aplicarse a otras industrias críticas para la seguridad . No reemplaza a la ISO 26262 ni a la SOTIF. En cambio, amplía el proceso de seguridad para tener en cuenta los riesgos específicos de la IA.
El estándar permite a los equipos apartarse de los métodos de verificación tradicionales cuando estos no se ajustan a la tecnología de IA. Por ejemplo, el análisis estático y la cobertura de código estructural son valiosos para el software en C o C++, pero no se pueden aplicar de la misma manera a una red neuronal.
Una estrategia diferente podría implicar:
Esta flexibilidad no es un pase libre. Cualquier desviación debe estar documentada, justificada y respaldada con pruebas que demuestren que se sigue cumpliendo el objetivo de seguridad.
Una idea clave en la seguridad de la IA es que el modelo no necesita ser perfecto para que el sistema en su conjunto sea seguro. En lugar de intentar demostrar que la IA nunca cometerá errores, la arquitectura debería prever que a veces los cometerá.
Por ejemplo, un componente de IA podría indicar erróneamente a un vehículo que circule a 80 millas por hora en una zona residencial. Un sistema independiente de control de límite de velocidad puede comparar esa orden con los datos del mapa y bloquear la acción peligrosa.
Otras medidas de protección incluyen:
El objetivo es detectar, contener y controlar comportamientos inesperados.
La seguridad de la IA continúa después del desarrollo y la implementación. La norma ISO/PAS 8800 vincula las actividades de seguridad de la IA con el ciclo de vida de seguridad habitual: definir requisitos, diseñar, verificar, validar, implementar y supervisar.
En la práctica, el proceso es más iterativo:
Los sistemas conectados hacen que este ciclo de retroalimentación sea cada vez más práctico. La información de campo puede revelar caídas de rendimiento en determinadas condiciones climáticas o situaciones inusuales. Dicha información puede dar lugar a nuevos datos de entrenamiento, requisitos revisados o una actualización del modelo.
Las actualizaciones inalámbricas pueden contribuir a la mejora, pero los cambios relacionados con la seguridad deben controlarse, ser rastreables, verificados y estar respaldados por pruebas antes de su implementación.
En el aprendizaje automático, los datos de entrenamiento, validación y prueba influyen notablemente en el comportamiento del sistema. Los datos incompletos, sesgados, incorrectos o mal etiquetados pueden generar problemas de seguridad incluso cuando el modelo se implementa correctamente.
El conjunto de datos necesita su propio ciclo de vida. Desde definir qué deben representar los datos hasta mantenerlo actualizado a medida que se descubren nuevas condiciones sobre el terreno.
El ciclo de vida del conjunto de datos debe abordar una serie de cuestiones prácticas:
La trazabilidad debe vincular las decisiones sobre los conjuntos de datos con los requisitos de seguridad de la IA. Los equipos también deben registrar las limitaciones conocidas y explicar por qué los datos son suficientes para el entorno operativo previsto.
La seguridad de la IA no puede demostrarse con un solo dato de precisión. Una afirmación como «el modelo tiene una precisión del 99.9 %» es incompleta si no se sabe dónde, cuándo y cómo se probó.
Un argumento de garantía más sólido combina:
Las pruebas deben avanzar desde el componente de IA individual hasta las funciones integradas y, finalmente, al sistema completo del vehículo. La simulación es especialmente útil porque permite a los ingenieros reproducir escenarios complejos que involucran condiciones climáticas, obras, peatones, tráfico y trazados viales inusuales, sin el costo ni el peligro de reproducirlos en vías públicas.
El análisis de seguridad de la IA también debe considerar los riesgos que pueden surgir de interacciones complejas del sistema, incluso cuando los componentes individuales no hayan fallado. Técnicas como el STPA (Análisis de Procesos Basado en la Teoría del Sistema), basado en el modelo STAMP, pueden complementar los enfoques tradicionales como el FMEA y el análisis de árbol de fallas, al examinar las acciones de control, las interacciones y los comportamientos del sistema que podrían generar riesgos.
Los sistemas con inteligencia artificial aún dependen de software convencional. El código C y C++ suele encargarse del preprocesamiento, la monitorización, las medidas de seguridad, la comunicación y el comportamiento de reserva. Si se espera que estos controles protejan a las personas cuando la IA se equivoca, deben ser altamente fiables.
En muchos casos, este software convencional implementa medidas de seguridad deterministas que supervisan, limitan o anulan el comportamiento de la IA. Si dependemos de esas medidas de seguridad cuando la IA comete un error, necesitamos pruebas sólidas de que el software en sí es fiable.
Los equipos pueden utilizar prácticas establecidas como:
La IA también puede ayudar con la verificación sugiriendo correcciones, generando pruebas, detectando deficiencias en la cobertura y priorizando riesgos. Sin embargo, el criterio de los ingenieros sigue siendo fundamental. Es necesario que las personas revisen los resultados y decidan si la evidencia es precisa y suficiente.
La norma ISO/PAS 8800 reconoce que no se puede demostrar que la IA sea completamente segura. En cambio, proporciona una manera de identificar los riesgos específicos de la IA, gestionar la incertidumbre y elaborar un argumento de seguridad sólido.
El cambio más importante consiste en dejar de considerar el modelo de IA como el producto final. La seguridad depende de toda la cadena: desde los datos y sensores hasta los modelos, el software, las medidas de protección y la monitorización en tiempo real. Cuando esta cadena se diseña como un sistema integrado, las organizaciones tienen mayores probabilidades de crear una IA que no solo sea capaz, sino también aceptablemente segura.
