Introducción
¿Crees que es un derecho tener un trabajo significativo como el de conductor de taxi a pesar de que los coches sin conductor son más seguros que los coches conducidos por humanos? ¿Qué pasa con el médico que diagnostica cáncer? ¿Debería tener ese derecho también, aunque el aprendizaje automático puede hacer un mejor trabajo?
Objetivos de aprendizaje para el capítuloAl final del capítulo, los participantes podrán:- reflexionar sobre los requisitos para que los sistemas de IA sean éticos
- evaluar sus propios valores
- tomar decisiones y formular argumentos relevantes para esto.
La solidez técnica es una parte importante de la creación de un sistema de IA que sea confiable. Esto está estrechamente relacionado con el principio de prevención del daño. Esto significa que los sistemas de IA deben construirse con un enfoque proactivo de los riesgos y de una manera que garantice que hacen lo que se supone que deben hacer mientras minimizan los daños no intencionales e inesperados y evitan daños inaceptables. También se tendrán en cuenta los cambios en su entorno operativo, así como la presencia de otros agentes (humanos y artificiales) que puedan interactuar con el sistema de forma hostil. Además, se debe considerar el bienestar físico y mental de los humanos.
En la década de 1940, el autor de ciencia ficción Isaac Asimov escribió sus Tres leyes de la robótica :
- Un robot no puede dañar a un ser humano o, por inacción, permitir que un ser humano sufra daño.
- Un robot debe obedecer las órdenes que le dan los seres humanos, excepto cuando dichas órdenes entren en conflicto con la Primera Ley.
- Un robot debe proteger su propia existencia siempre que dicha protección no entre en conflicto con la Primera o la Segunda Ley.
La resistencia a los ataques y la seguridad es una consideración importante. Como todos los sistemas de software, los sistemas de IA deben protegerse de fallas que los piratas informáticos pueden explotar. Los piratas informáticos pueden intentar acceder a los datos ( envenenamiento de datos) en el modelo ( fuga de modelo) o en la infraestructura , que incluye software y hardware.
Los datos y el comportamiento de un sistema de IA pueden cambiar si es atacado, por ejemplo, en ataques adversarios . Esto puede hacer que el sistema tome decisiones diferentes, o puede apagarlo por completo.
Los sistemas y los datos también pueden ser dañados o corrompidos por humanos que quieren dañarlos o al exponer el hardware a entidades que son peligrosas. Los procedimientos de seguridad insuficientes pueden conducir a malas decisiones o incluso a daños físicos. Para que los sistemas de IA se consideren seguros, los tomadores de decisiones humanos deben considerar posibles usos no deseados del sistema de IA (por ejemplo , aplicaciones de doble uso ) y cómo el sistema podría ser utilizado por personas con malas intenciones. Se deben tomar medidas para prevenir y mitigar estos riesgos.
https://www.youtube.com/watch?embed=no&v=BNwWRwJ7XSA&t=15
Debería haber un plan alternativo disponible si algo sale mal con un sistema de IA. Las acciones pueden incluir cambiar el sistema de un procedimiento estadístico a uno que sigue reglas, o puede solicitar la intervención de un operador humano antes de continuar con su trabajo. Es crucial que el sistema haga lo que está diseñado y destinado a hacer sin dañar a los seres vivos o al mundo que los rodea. Esto incluye asegurarse de que no haya consecuencias o errores no deseados.
Además, se deben crear procesos para ayudar a las personas a comprender y evaluar los riesgos de usar sistemas de IA en una amplia gama de aplicaciones. El nivel de medidas de seguridad que se necesitan está determinado por el nivel de riesgo que plantea un sistema de IA y qué tan bien puede hacer su trabajo. Cuando se puede prever que el proceso de desarrollo o el sistema en sí tiene múltiples riesgos, es importante desarrollar y probar medidas de seguridad desde el principio.
La precisión se refiere a la capacidad de un sistema de IA para tomar las decisiones correctas , por ejemplo, al clasificar correctamente la información en los grupos relevantes, o al hacer las predicciones, recomendaciones o evaluaciones apropiadas basadas en datos o modelos. Un proceso de desarrollo y evaluación explícito y bien formado puede ayudar a mitigar y corregir los riesgos. Cuando el sistema no puede evitar hacer algunas predicciones incorrectas, es importante que pueda mostrar la probabilidad de que ocurran estos errores. En situaciones en las que el sistema de IA tiene un impacto en la vida de las personas, un alto nivel de precisión es especialmente importante.
Para que los sistemas de IA funcionen bien, deben poder producir los mismos resultados una y otra vez. Un sistema de IA confiable debería poder manejar muchos tipos diferentes de entradas y situaciones. La reproducibilidad se refiere a si un experimento de IA se comporta de la misma manera cuando se realiza nuevamente en las mismas circunstancias. Los archivos de replicación pueden facilitar la prueba y la reproducción del comportamiento cuando se utiliza el sistema.