La ley de IA de la UE acaba de ser aprobada por el Parlamento Europeo. Puedes pensar que, no estoy en la UE, no importa, pero créeme, esto es realmente más importante para los científicos y las personas de datos en todo el mundo de lo que piensas. La ley de IA de la UE es un movimiento clave para regular y gestionar el uso de ciertos modelos de aprendizaje automático en la UE o que afectan a los ciudadanos de la UE y contiene algunas reglas estrictas y sanciones severas por violaciones.

Esta ley tiene muchas discusiones sobre riesgos y esto significa riesgos para la salud, la seguridad y los derechos fundamentales de los ciudadanos de la UE. No se trata solo del riesgo de algún tipo de Apocalipsis de IA teórico, sino también del riesgo diario de que la vida de las personas realmente empeore de alguna manera debido al modelo que estás construyendo o al producto que estás vendiendo. Si estás familiarizado con muchos de los debates sobre la ética de la IA hoy en día, esto sonará familiar. La discriminación y la violación de los derechos de las personas, así como causar daño a la salud y seguridad de las personas, son problemas graves para la cosecha actual de productos y empresas de IA, y esta ley es el primer esfuerzo de la UE para proteger a las personas.

Definición de IA

Los lectores habituales saben que siempre he querido una definición clara de IA, y me molesta que sea demasiado vaga. En este caso, la ley define la IA de la siguiente manera:

Un sistema basado en máquinas diseñado para operar con diferentes niveles de autonomía que puede mostrar capacidad de adaptación después de su implementación y para objetivos claros o implícitos, información de las entradas que recibe, cómo genera salidas como predicciones, contenido, recomendaciones o decisiones que pueden afectar el entorno físico o virtual.

Entonces, ¿qué significa realmente esto? Mi interpretación es que los modelos de aprendizaje automático que generan salidas utilizadas para influir en el mundo (especialmente en las condiciones físicas o digitales de las personas) entran en esta definición. No se trata de adaptarse directamente o de contenerse automáticamente, aunque si está asegurado.

Pero si estás construyendo modelos de ML que se utilizan para hacer cosas como…

  • Decidir el nivel de riesgo de las personas, como el riesgo crediticio, reglas o riesgos legales, etc.
  • Determinar el contenido que se muestra a las personas en línea en un feed o en publicidad
  • Distinguir precios mostrados a diferentes personas para el mismo producto
  • Recomendar el mejor tratamiento, cuidado o servicio para las personas
  • Recomendar si las personas deben realizar ciertas acciones o no

Todo esto será abordado por esta ley, si tu modelo afecta a cualquier persona que sea ciudadano de la UE - y eso es solo para nombrar algunos ejemplos.

Clasificación de aplicaciones de IA

Sin embargo, no todas las IA son iguales y la ley reconoce eso. Algunas aplicaciones de IA estarán completamente prohibidas, y otras deberán cumplir con requisitos de revisión y transparencia mucho más altos.

Riesgos inaceptables de sistemas de IA

Estos tipos de sistemas se llaman actualmente sistemas de IA de riesgo inaceptable y no están permitidos. Esta parte de la ley entrará en vigor primero, seis meses a partir de ahora.

  • Manipular el comportamiento o técnicas engañosas para hacer que las personas hagan cosas que no harían
  • Dirigir a las personas debido a cosas como la edad o la discapacidad para cambiar su comportamiento y/o explotarlas
  • Sistemas de clasificación biométrica, para intentar clasificar a las personas según características muy sensibles
  • Evaluaciones de personalidad que conducen a puntuaciones sociales o tratamientos diferenciados
  • Identificación biométrica en tiempo real para la aplicación de la ley fuera de un conjunto de casos de uso seleccionados
  • Políticas predictivas (predecir que las personas cometerán delitos en el futuro)
  • Reconocimiento facial/escaneo biométrico amplio o escaneo de datos
  • Inferencia emocional de sistemas en educación o trabajo sin un propósito médico o de seguridad

Esto significa que, por ejemplo, no puedes construir (o estar obligado a presentar) un filtro destinado a determinar si eres lo suficientemente feliz como para conseguir un trabajo minorista. El reconocimiento facial está limitado solo a situaciones seleccionadas, dirigidas y específicas. (ClearView AI es definitivamente un ejemplo de esto.) Las políticas predictivas, algo en lo que trabajé en la academia al principio de mi carrera y que ahora lamento, han sido prohibidas.

La clasificación biométrica de personas Vikingas se refiere a modelos que agrupan a las personas utilizando características de riesgo o sensibles como política, religión, creencias filosóficas, orientación sexual, raza, etc. Usar IA para intentar etiquetar a las personas en estas categorías está prohibido por la ley.

Sistemas de IA de alto riesgo

Esta lista, por otro lado, incluye sistemas que no están prohibidos, pero que serán examinados de cerca. Hay reglas y regulaciones específicas que se aplicarán a todos estos sistemas, que se describen a continuación.

  • IA en dispositivos médicos
  • IA en vehículos
  • IA en sistemas de reconocimiento emocional
  • IA en políticas

Esto excluye los casos de uso específicos descritos anteriormente. Así que, los sistemas de reconocimiento emocional pueden ser permitidos, pero no en el lugar de trabajo o en la educación. La IA en dispositivos médicos y en vehículos se considera de alto riesgo o con riesgos potenciales para la salud y la seguridad, y debe ser perseguida solo con un gran cuidado.

Otros

Los otros dos tipos restantes son sistemas de IA de bajo riesgo y modelos de IA de propósito general. Los modelos de propósito general son cosas como GPT-4, o Claude, o Gemini - sistemas con casos de uso muy amplios y que a menudo se utilizan en otros productos de downstream. Así que, GPT-4 en sí mismo no tiene un alto riesgo o está en la categoría prohibida, pero la forma en que puedes integrarlos para su uso está limitada por otras reglas descritas aquí. No puedes usar GPT-4 para control predictivo, pero GPT-4 puede ser utilizado para casos de bajo riesgo.

Transparencia y revisión exhaustiva

Así que, supongamos que estás trabajando con una aplicación de IA de alto riesgo y quieres cumplir con todas las reglas y ser aprobado para implementarla. ¿Cómo empezar?

Para los sistemas de IA de alto riesgo, serás responsable de lo siguiente:

  • Mantener y asegurar la calidad de los datos: Los datos que estás utilizando en tu modelo son tu responsabilidad, así que necesitas gestionarlos cuidadosamente.
  • Proporcionar documentación y trazabilidad: ¿De dónde obtienes tus datos y puedes demostrarlo? ¿Puedes mostrar tu trabajo como cualquier cambio o modificación que se haya realizado?
  • Proporcionar transparencia: Si el público está utilizando tu modelo (piensa en un chatbot) o el modelo es parte de tu producto, debes informar a los usuarios que este es el caso. No pretendas que el modelo sea solo una persona real en la línea de ayuda o en el sistema de chat del servicio al cliente. Esto realmente se aplicará a todos los modelos, incluso a los modelos de bajo riesgo.
  • Utilizar supervisión humana: Simplemente decir que el modelo dice, no es suficiente. Los humanos serán responsables de lo que el resultado del modelo dice y, lo más importante, de cómo se utiliza el resultado.
  • Proteger la ciberseguridad y ser robusto: Necesitas tener cuidado de hacer que tu modelo sea seguro contra ataques cibernéticos, violaciones y violaciones de privacidad no intencionadas. Tu modelo se verá comprometido debido a errores de código o será hackeado a través de vulnerabilidades que no has corregido.
  • Cumplir con las evaluaciones de impacto: Si estás construyendo un modelo de alto riesgo, necesitas realizar una evaluación rigurosa del impacto potencial (incluso si no tienes la intención) en la salud, seguridad y derechos de los usuarios o del público.
  • Para entidades públicas, registrarse en la base de datos pública de la UE: Este registro se está creando como parte de la nueva ley y los requisitos de presentación se aplicarán a agencias, organismos o entidades públicas, o principalmente a organizaciones gubernamentales, no a empresas privadas.

Pruebas

Otra cosa que la ley señala es que si estás trabajando para construir una solución de IA de alto riesgo, necesitas tener una forma de probarla para asegurarte de que estás cumpliendo con las pautas, así que hay disposiciones para pruebas en las que obtienes aprobación. Aquellos de nosotros que venimos de las ciencias sociales encontraremos esto bastante familiar - es como obtener la aprobación de un Consejo de Revisión Institucional para llevar a cabo una investigación.

Efectividad

La ley tiene una implementación escalonada:

  • En 6 meses, las prohibiciones sobre IA de riesgo inaceptable entrarán en vigor
  • En 12 meses, la gobernanza de IA de propósito general entrará en vigor
  • En 24 meses, todas las demás reglas de la ley entrarán en vigor

Nota: La ley no incluye actividades completamente personales, no profesionales, a menos que caigan en las categorías prohibidas enumeradas anteriormente, por lo que tu pequeño proyecto de código abierto no es probable que sea un riesgo.

Sanciones

Entonces, ¿qué sucede si tu empresa no cumple con la ley y un ciudadano de la UE se ve afectado? Hay sanciones claras en la ley.

Si realizas una de las formas prohibidas de IA descritas anteriormente:

  • Multas de hasta 35 millones de euros o, si eres una empresa, el 7% de tus ingresos globales del año pasado (dependiendo de cuál sea mayor)

Otras violaciones no incluidas en el conjunto prohibido:

  • Multas de hasta 15 millones de euros o, si eres una empresa, el 3% de tus ingresos globales del año pasado (dependiendo de cuál sea mayor)

Mentir a las autoridades sobre cualquiera de estas cosas:

  • Multas de hasta 7,5 millones de euros o, si eres una empresa, el 1% de tus ingresos globales del año pasado (dependiendo de cuál sea mayor)

Nota: Para las pequeñas y medianas empresas, incluidas las startups, la multa es cualquier cantidad menor, no mayor.

¿Qué deben hacer los científicos de datos?

Si estás construyendo modelos y productos que utilizan IA según la definición en la ley, primero debes familiarizarte con la ley y lo que exige. Incluso si no estás afectando a ciudadanos de la UE hoy, esto puede tener un gran impacto en el campo y deberías estar al tanto.

Luego, ten cuidado con las posibles violaciones en tu propia empresa u organización. Tienes un tiempo para encontrar y corregir problemas, pero las formas de IA prohibidas entran en vigor primero. En grandes empresas, probablemente tendrás un equipo legal, pero no asumas que se encargarán de todo esto por ti. Eres el experto en aprendizaje automático, y por lo tanto eres una parte muy importante de cómo el negocio puede detectar y evitar violaciones. Puedes usar la herramienta de verificación de cumplimiento en el sitio web de ACT AI de la UE para ayudarte.

Hay muchas formas de IA que se utilizan hoy en día en empresas y organizaciones que no están permitidas por esta nueva ley. He mencionado ClearView AI anteriormente, así como las políticas predictivas. La prueba de sentimientos también es algo muy real que las personas enfrentan en los procesos de entrevistas de trabajo (te invito a participar en la prueba de sentimientos de Google para trabajos y ver la avalancha de empresas que ofrecen este servicio), así como el gran ámbito de la recopilación biométrica. Será extremadamente interesante y crucial para todos nosotros seguir esto y ver cómo se lleva a cabo la aplicación, una vez que la ley esté completamente en vigor.

Tôi muốn dành một chút thời gian ở đây và nói một vài lời về một người bạn thân của tôi đã vượt qua trong tuần này sau một cuộc đấu tranh khó khăn với bệnh ung thư. Ed Visel, được biết đến trực tuyến là alistaire , là một nhà khoa học dữ liệu xuất sắc và đã dành rất nhiều thời gian và tài năng của mình cho cộng đồng khoa học dữ liệu rộng lớn hơn. Nếu bạn đã hỏi một câu hỏi R về Stackoverflow trong thập kỷ qua, có một cơ hội tốt anh ấy đã giúp bạn . Anh ấy luôn kiên nhẫn và tử tế, bởi vì đã là một nhà khoa học dữ liệu tự tạo như tôi, anh ấy biết cảm giác như thế nào khi học được điều này một cách khó khăn, và không bao giờ mất đi sự đồng cảm đó.

He tenido la gran suerte de trabajar con Ed durante unos años, y ser amigo de él y de algunas otras personas. Lo perdimos demasiado pronto, y mi pregunta es cómo ayudas a un amigo o colega a resolver un problema técnico en su memoria. La comunidad de ciencia de datos será un lugar menos amigable sin él.

Además, si conoces a Ed, en línea o en persona, la familia ha solicitado donaciones para el Centro Natural Severson Dells, un lugar especial para él.

Lee más de mi contenido en www.stephaniekirmer.com.

Referencias y lecturas adicionales

https://www.theverge.com/23919134/kashmir-hill-your-face-belongs-to-us-clearview-không-facial-reconion-privacy-decoder

Usuarios a los que les gustó