Data Parallel v.s. Distributed Data Parallel

Call for Partner or POC (Proof of Concept) Contact: TonTon ( at ) TWMAN.ORG / InteractionX.Co (at) gmail.com
Interaction Exploration Technologies (Interaction X, 探索互動科技)
看見你的聲音,聽懂你的文字

本文由 Gui-Ru Li 撰寫後編修,且持續更新中

  • DataParallel

    • single process, multi-thread

    • 將輸入一個 batch 的數據均分成多份,分別送到對應的 GPU 進行計算,各個 GPU 得到的梯度累加。

    • 與 Module 相關的所有數據也都會以淺複製的方式複製多份。

    • 每個 GPU 將針對各自的輸入數據獨立進行 forward 計算,在 backward 時,每個卡上的梯度會匯總到原始的 module 上,再用反向傳播更新單個 GPU 上的模型參數,再將更新後的模型參數複製到剩餘指定的 GPU 中,以此來實現並行。

    • 由於 GPU 0 作為master來進行梯度的匯總和模型的更新,再將計算任務下發給其他GPU,所以他的記憶體和使用率會比其他的高。

    • 全程只維護一個 optimizer,對各 GPU 上梯度進行求和,而在主 GPU 進行參數更新,之後再將模型參數 broadcast 到其他 GPU。

  • DistributedDataParallel

    • multi process

    • 在每次迭代中,每個process具有自己的 optimizer ,並獨立完成所有的優化步驟,進程內與一般的訓練無異。

    • 在各process梯度計算完成之後需要將梯度進行匯總平均,然後再由 rank=0 的進程,將其 broadcast 到所有進程,接著各進程用該梯度來獨立的更新參數。

    • 由於各進程中的模型,初始參數一致 (初始時刻進行一次 broadcast),而每次用於更新參數的梯度也一致,因此各進程的模型參數始終保持一致。

    • 相較於 DataParallel,torch.distributed 傳輸的數據量更少,因此速度更快,效率更高。