Block, la compañía fintech cofundada por Jack Dorsey (dueña de Square y Cash App), presentó Dessa, un modelo de inteligencia artificial de voz que, según la empresa, fue entrenado desde cero únicamente con conversaciones humanas grabadas: sin texto escrito y sin partir de ningún modelo preentrenado.
El anuncio se hizo la tarde del viernes 23 de octubre y durante la mañana de este sábado se volvió tema de conversación en redes y medios de tecnología por las grabaciones que la propia empresa publicó, en las que el sistema ríe, interrumpe y responde con pausas y entonación muy parecidas a las de una persona.
Voz a voz, sin pasar por texto
A diferencia de la mayoría de los asistentes de voz, que convierten lo que dice el usuario en texto, lo procesan y luego lo vuelven a sintetizar, Dessa es un modelo «speech-to-speech»: recibe audio y responde con audio. Block sostiene que al pasar la voz a texto se pierde información sobre emoción, ritmo, sarcasmo o un suspiro de frustración.
Además es «full-duplex», es decir, escucha y habla al mismo tiempo, por lo que puede intercalar expresiones como «ajá» o «ya veo», o reírse a mitad de una frase. La empresa asegura que la inferencia corre más rápido que en tiempo real y que el modelo puede ejecutarse de forma local en una MacBook Pro con chip M4 Max o superior.
Según el sitio oficial del proyecto, el entrenamiento se realizó en un solo rack NVIDIA GB200 NVL72, y el modelo aprendió el lenguaje con «cientos de veces menos palabras» que los grandes modelos de lenguaje basados en texto.
Demostraciones, con momentos extraños
Block publicó varias grabaciones que, afirma, son conversaciones en vivo sin que nadie dirija al modelo; los subtítulos se añadieron después. En una, Dessa completa el título de una película que el usuario no recuerda; en otra reacciona con lo que suena a gratitud emocionada ante una supuesta sorpresa de viaje a París.
Las pruebas también exhiben fallas: en un audio compartido por el líder del proyecto, Ragavan Thurairatnam, el modelo confunde a su interlocutor con alguien llamado «Ronaldo», y en una charla sobre las películas de Christopher Nolan se desvía hacia las cintas de Superman de Bryan Singer. El sitio incluye además un diálogo entre Dessa y el modelo de voz GPT-Live-1 de OpenAI.
Thurairatnam calificó el lanzamiento en X como «un momento GPT-3 para la voz», mientras que Dorsey lo describió como «el modelo de voz full-duplex más auténtico jamás construido».
Sin acceso público por ahora
Dessa no está disponible para el público: no hay API, precios, pesos abiertos ni pruebas comparativas (benchmarks) publicadas. Block informó que dará acceso anticipado sólo a un grupo reducido de investigadores en seguridad de IA para que identifiquen riesgos que el equipo no haya previsto.
La empresa argumenta que uno de los motivos del proyecto es precisamente la seguridad: los sistemas de IA actuales son «casi sordos» a la emoción en la voz y podrían no notar, por ejemplo, que una persona habla con dolor o angustia.
El equipo detrás del modelo es un laboratorio pequeño dentro de Block, formado por exintegrantes de Dessa, una startup de aprendizaje profundo de Toronto, que reporta directamente a Dorsey. Las afirmaciones sobre su desempeño provienen, hasta ahora, sólo de la propia compañía y de las grabaciones que ella misma eligió difundir.
Deja una respuesta