Bagikan :
Chat with RTX mengandalkan GPU dengan VRAM 8 GB, RAM 16 GB, sistem operasi (OS) Windows 10 atau 11, serta driver GPU Nvidia teranyar (versi 535.11 atau lebih baru). Pengguna juga memerlukan media penyimpanan seluas 35 GB.
File lokal di komputer pengguna nantinya dihubungkan (upload) ke model bahasa besar (large language model/LLM) open-source seperti Mistral atau Llama 2, yang disebut bisa memberikan jawaban yang cepat dan relevan secara kontekstual.
Nah, tugas retrieval augmented generation adalah meningkatkan akurasi dan reliabilitas model AI generatif, sedangkan Nvidia TensorRT-LLM mengoptimalkan kinerja inferensi model bahasa besar terbaru dalam platform Nvidia AI.
Sebagaimana dikutip dari blog resmi Nvidia, Rabu (14/2/2024), Chat with RTX dijalankan langsung di PC dan workstation Nvidia RTX, sehingga data pengguna hanya akan disimpan di perangkat saja.
Chat with RTX tidak mengandalkan LLM berbasis cloud, sehingga pengguna bisa memproses data sensitif di PC tanpa harus membagikannya ke pihak ketiga. Pengguna juga tidak perlu koneksi internet saat menggunakan Chat with RTX.
Pengguna yang sudah memenuhi minimum spesifikasi Chat with RTX bisa mengunduhnya secara gratis lewat tautan ini. Catatannya, aplikasi ini masih bersifat demo, sehingga masih terasa kurang dipoles apabila dibandingkan chatbot kenamaan lainnya.
Proses instalasinya membutuhkan kesabaran, dan aplikasinya disebut boros daya. Menurut hands-on dari media teknologi The Verge, atribusi sumber Chat with RTX tidak selalu akurat, dan aplikasi akan tertutup (crash) jika disuruh mengindeks sebanyak 25.000 dokumen.
Selain itu, Chat with RTX tidak mengingat konteks pembicaraan, sehingga pengguna tidak bisa menanyakan pertanyaan lanjutan dari pertanyaan yang sudah diajukan.
Di luar itu, The Verge mengatakan bahwa demo teknologi ini baik, dan menunjukkan potensi chatbot AI yang berjalan secara lokal di komputer pengguna. Pengguna tak usah berlangganan Microsoft Copilot Pro atau ChatGPT Plus jika ingin menganalisis file pribadi.
Artikel ini telah tayang di Kompas.com dengan judul "Nvidia Rilis Chatbot AI "Chat with RTX", Bekerja Lokal di PC", Klik untuk baca: https://tekno.kompas.com/read/2024/02/14/19000057/nvidia-rilis-chatbot-ai-chat-with-rtx-bekerja-lokal-di-pc.
