Nvidia ha presentado esta tarde Chat con RTX, una aplicación que permite ejecutar modelos de lenguaje de gran tamaño directamente en los ordenadores en los que se instala, siempre y cuando estos posean una tarjeta gráfica GeForce RTX de la serie 30 ó 40.
Ello contrasta con los servicios que ofrecen los asistentes virtuales de sus competidores, como ChatGPT, Copilot o Gemini. En todos esos casos, las instrucciones que se les dan son procesadas de manera remota en los servidores de sus respectivas compañías y luego viajan de vuelta a los dispositivos de los usuarios finales.
Nvidia, por contra, presume de que, en Chat con RTX, la interacción con esta herramienta de inteligencia artificial se circunscribe por completo al PC en el que se ejecuta. Algo que es posible gracias a las tecnologías de generación aumentada por recuperación (RAG), TensorRT-LLM y aceleración RTX que incorporan sus tarjetas gráficas.
Una vez se instala, Chat con RTX da la oportunidad de seleccionar un modelo de lenguaje que se adecúe a las necesidades de cada usuario y de conectarlo con los documentos, notas o vídeos en los que se quiera utilizar. Estos pueden estar almacenados en el propio ordenador o, en el caso de los vídeos, también se pueden utilizar URL de YouTube si así se desea:
Una vez completados estos sencillos pasos, se le pueden realizar preguntas relacionadas con los contenidos de esos archivos y vídeos y el programa responde con la información que extrae de los mismos.
Antes de acabar, me gustaría mencionar que el ordenador en el que se ejecute Chat con RTX debe tener, además de una tarjeta gráfica Nvidia, la versión 535.11 de los controladores, 16 GB de RAM y el sistema operativo Windows 11. Quienes queráis probar este asistente, podéis descargarlo desde el enlace que he colocado en el primer párrafo.