Multi-GPU: когда стоит подключать несколько видеокарт и как использовать их эффективно

Wait 5 sec.

Если вы обучаете ML-модели, рано или поздно можете столкнуться с двумя ограничениями: обучение занимает слишком много времени или модели перестает хватать видеопамяти. В таких случаях можно перейти на Multi-GPU. Представим условный пример, модель обучается на одной GPU за 32 дня. Подключаем восемь ускорителей, рассчитываем сократить обучение до четырех дней, но получаем пять. Почему так происходит? GPU тратят время на синхронизацию градиентов, передачу данных и ожидание других устройств. Сколько времени займут эти операции, зависит от выбранного способа параллелизма.Посмотрим на четыре подхода к Multi-GPU, их ограничения и способы оценить эффективность масштабирования. Разберемся, когда стоит подключать дополнительные видеокарты, а когда лучше оптимизировать обучение на имеющемся оборудовании. Читать далее