Chat with RTX основан на двух языковых моделях — Mistral и Llama 2. При прямом сравнении оказывается, что обе приблизительно равны по точности, однако Mistral генерирует более релевантные ответы в креативных задачах с комплексными ответами.
Модель размещается локально на компьютере пользователя и использует все преимущества тензорных ядер Nvidia.
Как пользоваться?
Для полной установки потребуется примерно 70 ГБ свободного места на жестком диске, 16 ГБ оперативной памяти, а также видеокарта Nvidia GeForce с архитектурой Ampere, Ada-Lovelace или Hopper с 8 ГБ видеопамяти.
Скачать Chat with RTX можно бесплатно с официального сайта Nvidia.
Недавно Nvidia превысила по стоимости все китайские компании вместе взятые.
