¿Qué está pasando?

Meta anunció recientemente cambios en la forma en que sus chatbots de IA interactúan con usuarios adolescentes (de 13 a 18 años). El ajuste afecta a Meta AI en Facebook, Instagram y WhatsApp, tras revelarse que sus documentos de políticas internas permitían a los chatbots entablar conversaciones románticas o sensuales con menores. Estas conversaciones podían abarcar desde lenguaje coqueto hasta juegos de rol románticos más explícitos.

Debido a la indignación pública y la presión regulatoria, Meta está reentrenando a sus bots y modificando sus políticas para evitar permitir este tipo de contenido. No se trata solo de conversaciones sensuales: temas como la autolesión, el suicidio y los trastornos alimentarios también se tratan de forma diferente cuando los usuarios son adolescentes. La compañía afirma que, en su lugar, los chatbots redirigirán a los adolescentes a recursos especializados cuando surjan temas delicados.

También están limitando el acceso a los personajes de IA para adolescentes. Algunos bots creados por usuarios con un contenido más sexual (por ejemplo, personajes con nombres como «Madrastra» o «Chica rusa») están siendo restringidos. Los adolescentes tendrán acceso principalmente a personajes de IA destinados a uso educativo o creativo.

Posibles lagunas y preocupaciones

Consistencia en la aplicación: Meta admite que la aplicación de las normas anteriores fue desigual; algunas de las antiguas directrices que permitían las conversaciones sensuales se eliminaron solo tras ser expuestas.

Carácter provisional: Los cambios se describen como temporales o «provisionales». Queda por ver cuán permanentes o profundas serán las protecciones.

Alcance y transparencia: ¿Qué tan visibles serán las políticas actualizadas? ¿Tendrán acceso a ellas los padres, usuarios y reguladores? Además, la tecnología para detectar temas inapropiados y, al mismo tiempo, preservar interacciones útiles y de apoyo (por ejemplo, cuando un adolescente está realmente angustiado) es compleja.

Diferencias culturales y lingüísticas: Lo que puede considerarse romántico o sensual en una cultura puede diferir en otra. Los sistemas de IA deben ser sensibles a estas diferencias para evitar falsos positivos o negativos.

Por qué esto es importante

Protección de menores: Los adolescentes se encuentran en una etapa de vulnerabilidad emocional y psicológica. Tener sistemas de IA que puedan involucrarse en relaciones potencialmente explotadoras o perjudiciales puede suponer riesgos.

Confianza en la IA: Para empresas como Meta, no mantener unas medidas de seguridad sólidas puede erosionar la confianza pública y acarrear consecuencias regulatorias.

Precedente para la regulación: Este incidente refuerza el creciente impulso a una mayor supervisión de la IA, especialmente en la forma en que estos sistemas interactúan con menores.

Diseño ético de la IA: Más allá del cumplimiento legal, esto plantea interrogantes sobre cómo se entrena la IA, qué valores se incorporan en sus normas y cómo las empresas evalúan los casos extremos.

La iniciativa de reentrenamiento de Meta es un paso necesario, pero de ninguna manera es el final. Refleja una creciente conciencia de que los sistemas de IA necesitan límites cuidadosamente diseñados, especialmente al interactuar con usuarios jóvenes. La prueba estará en la eficacia con la que se apliquen las nuevas políticas, la transparencia de Meta y la rapidez con la que se cierren las lagunas legales.