Un’innovazione rivoluzionaria sta per arrivare sui computer Windows alimentati da NVIDIA RTX, promettendo di portare l’intelligenza artificiale generativa personalizzata direttamente nelle mani degli utenti. Con l’introduzione di “Chat con RTX”, un’applicazione gratuita disponibile per il download, gli utenti avranno la possibilità di creare e personalizzare il proprio assistente virtuale alimentato da una GPU NVIDIA GeForce RTX 30 Series o superiore, con almeno 8GB di memoria video.
Questo demo tecnologico sfrutta la potenza del retrival-augmented generation (RAG), del software NVIDIA TensorRT-LLM e dell’accelerazione NVIDIA RTX, consentendo agli utenti di connettere rapidamente e facilmente file locali al modello di lingua di loro scelta, come Mistral o Llama 2. Invece di dover cercare tra appunti o contenuti salvati, gli utenti possono semplicemente digitare le loro domande e ricevere risposte immediate, supportate da un contesto rilevante.
Chat con RTX supporta una vasta gamma di formati di file, tra cui .txt, .pdf, .doc/.docx e .xml, consentendo agli utenti di integrare facilmente conoscenze provenienti da video di YouTube nei loro bot di chat. Inoltre, poiché l’applicazione funziona localmente sui PC Windows RTX, i risultati sono rapidi e i dati degli utenti rimangono sul dispositivo, eliminando la necessità di condividere informazioni sensibili con terze parti o di avere una connessione Internet.
Tuttavia, è importante notare che al momento esiste un problema noto con l’installazione di Chat con RTX, che verrà risolto nelle prossime versioni. Nel frattempo, gli utenti sono invitati a utilizzare la directory di installazione predefinita.
Inoltre, gli sviluppatori hanno la possibilità di sfruttare il progetto di riferimento TensorRT-LLM RAG disponibile su GitHub per creare e distribuire le proprie applicazioni basate su RAG per RTX. Il concorso NVIDIA Generative AI on NVIDIA RTX offre agli sviluppatori l’opportunità di mettere in mostra le proprie creazioni e vincere fantastici premi, tra cui una GPU GeForce RTX 4090.
_______
Say What? Chat With RTX Brings Custom Chatbot to NVIDIA RTX AI PCs
