В этом видео массовое тестирование видеокарт для нейросетей. В тесте участвуют две нейросети: Llama 3 8b и Llama 3 70b. Тестируются игровые видеокарты разных поколений: Nvidia RTX 4090, RTX 3090, RTX 3090 ti, RTX 2080 ti. Среди серверных карт тестируются Nvidia A100, Nvidia H100. GPU сервера immerse cloud:
Бенчмарк из видео для тестирования:
LLama 3 8b 70b api:
Таблица с результатами:
Таймкоды: 0:00 описание теста 0:59 immerse cloud 1:20 стоимость аренды видеокарт 2:45 LLM токены и промпты 4:25 Llama 8b instruct 11:15 Llama 70b instruct 14:40 энергопотребление 15:25 покупка видеокарт 17:44 Llama 3 API 19:04 codeGPT - плагин для pycharm Реклама. ООО «ДТЛ». ИНН 9717073792. erid: LjN8K1Rvg
