Разработчик Дэвид Ноэль Нг совершил уникальную покупку – рабочую станцию NVIDIA Grace Hopper с 960 ГБ LPDDR5X и общим объёмом оперативной памяти 1152 ГБ за 7500 евро. Стоимость такой системы на рынке может превышать 80 000 долларов, однако Дэвид смог получить значительную скидку, договорившись о цене ниже начальных €10 000.
Об этом сообщает ProIT
Технические характеристики и особенности станции
Уникальная рабочая станция оснащена двумя суперчипами Grace Hopper, каждый из которых содержит 7-ядерный процессор Grace и графический процессор Hopper H100. Благодаря такой мощной конфигурации разработчик теперь может локально запускать большие языковые модели с количеством параметров до 235 миллиардов. Для сравнения, за 10 000 долларов на рынке обычно можно найти только б/у графические процессоры, способные работать с моделями до 70 миллиардов параметров.
Система получила два модуля LPDDR5X ECC по 480 ГБ, а также дополнительно оснащена 2x 96 ГБ памяти HBM3 – это обеспечивает общий объём «оперативки» в 1152 ГБ. Компоненты объединяются по технологии NVLink-C2C с пропускной способностью 900 ГБ/с. Станция содержит разъёмы 2x PCIe Gen4 M.2 22110/2280, 4x FHFL PCIe Gen5 x16, 1x USB 3.2, 1x RJ45 IPMI и 1x Mini Displayport. Общий программируемый TDP составляет от 1000 до 2000 Вт, а питание обеспечивается блоком мощностью 3000 Вт (230 В на 48 В).
Вызовы настройки и запуска
При покупке система имела ряд особенностей и недостатков, которые объясняли значительное снижение цены. В частности, охлаждение было изменено с жидкостного на воздушное, станция потеряла возможность установки в стойку, а внешний вид оставлял желать лучшего. Также рабочая станция была очень громкой и склонной к перегреву. Чтобы довести её до ума, Дэвид Ноэль Нг использовал изопропиловый спирт для очистки, четыре модифицированных жидкостных охладителя Arctic AiO, многочисленные медные детали, вырезанные на фрезерном станке, и килограмм комплектующих, напечатанных на 3D-принтере.
“Оказывается, я живу рядом с продавцом, а он управляет интернет-магазином, который продаёт модифицированное серверное оборудование NVIDIA как настольные компьютеры. Это всё ещё казалось довольно рискованным, поэтому я провёл некоторые исследования и нашёл видеообзор одного из его настольных компьютеров на YouTube. Поскольку сделка теперь казалась, по крайней мере, правдоподобной, а продавец был всего в двух часах езды и согласился взять наличные, пришло время отправиться в баварское путешествие”, — пишет Дэвид Ноэль Нг.
Несмотря на все риски и сложности, станция успешно запустилась. Владелец отмечает, что значительная часть разницы в цене была компенсирована его собственным трудом и навыками, ведь устранить все недостатки и запустить систему в работу оказалось непростой задачей.
