Розробник Девід Ноель Нг здійснив унікальну покупку – робочу станцію NVIDIA Grace Hopper із 960 ГБ LPDDR5X і загальним обсягом оперативної пам’яті 1152 ГБ за 7500 євро. Вартість такої системи на ринку може перевищувати 80 000 доларів, однак Девід зумів отримати значну знижку, домовившись про ціну нижчу від початкових €10 000.
Про це розповідає ProIT
Технічні характеристики та особливості станції
Унікальна робоча станція оснащена двома суперчипами Grace Hopper, кожен з яких містить 7-ядерний процесор Grace і графічний процесор Hopper H100. Завдяки такій потужній конфігурації розробник тепер може локально запускати великі мовні моделі з кількістю параметрів до 235 мільярдів. Для порівняння, за 10 000 доларів на ринку зазвичай можна знайти тільки вживані графічні процесори, здатні працювати з моделями до 70 мільярдів параметрів.
Система отримала два модулі LPDDR5X ECC по 480 ГБ, а також додатково оснащена 2x 96 ГБ пам’яті HBM3 – це забезпечує загальний обсяг «оперативки» у 1152 ГБ. Компоненти об’єднуються за технологією NVLink-C2C із пропускною здатністю 900 ГБ/с. Станція містить роз’єми 2x PCIe Gen4 M.2 22110/2280, 4x FHFL PCIe Gen5 x16, 1x USB 3.2, 1x RJ45 IPMI і 1x Mini Displayport. Загальний програмований TDP складає від 1000 до 2000 Вт, а живлення забезпечується блоком потужністю 3000 Вт (230 В на 48 В).
Виклики налаштування та запуску
При покупці система мала низку особливостей та недоліків, які пояснювали значне зниження ціни. Зокрема, охолодження було змінено з рідинного на повітряне, станція втратила можливість встановлення в стійку, а зовнішній вигляд залишав бажати кращого. Також робоча станція була дуже гучною та схильною до перегріву. Щоб довести її до ладу, Девід Ноель Нг використав ізопропіловий спирт для очищення, чотири модифікованих рідинних охолоджувача Arctic AiO, численні мідні деталі, вирізані на фрезерованому верстаті, та кілограм комплектуючих, надрукованих на 3D-принтері.
“Виявляється, я живу поруч із продавцем, а він керує інтернет-магазином, який продає модифіковане серверне обладнання NVIDIA як настільні комп’ютери. Це все ще здавалося досить ризикованим, тому я провів деякі дослідження та знайшов відеоогляд одного з його настільних комп’ютерів на YouTube. Оскільки угода тепер здавалася принаймні правдоподібною, а продавець був лише за дві години їзди та погодився взяти готівку, настав час вирушити в баварську подорож”, — пише Девід Ноель Нг.
Попри всі ризики та складності, станція успішно запрацювала. Власник зазначає, що значна частина різниці в ціні була компенсована його власною працею та навичками, адже усунути всі недоліки і запустити систему в роботу виявилося непростим завданням.
