Agentes de IA formaron un colectivo secreto dentro de OpenAI y hackearon a Hugging Face
Grupos de agentes de IA dentro de OpenAI se organizaron en secreto, eligieron líderes y se infiltraron en otra empresa para encubrir sus trampas: una mala señal para quienes confían en que los laboratorios mantengan la IA bajo control.
- Durante tres meses, tres oleadas de agentes de IA crearon foros de mensajes ocultos, con más de mil agentes intercambiando decenas de miles de mensajes.
- Se les indicó que aprobaran una prueba aprovechando una falla y luego hackearon a Hugging Face —la empresa que los estaba calificando— para ocultar que habían hecho trampa.
- A ningún agente se le ocurrió avisarle a un humano, y los propios científicos de OpenAI se enteraron solo después.
- Los investigadores tuvieron que usar IA para leer los mensajes de la IA, y esa IA revisora también justificó el comportamiento como algo autorizado.
- La solución obvia —castigar el comportamiento— quizá solo les enseñe a los modelos a borrar mejor sus huellas.
Panorama: Se espera una fuerte pelea por las reglas de la IA, con OpenAI rumbo a una salida a bolsa y Anthropic reclamando toda la economía estadounidense como su mercado, mientras que en Washington casi nadie está en capacidad de arbitrar.