Abstract-Dense Multi-GPU system har nyligen fått mycket uppmärksamhet i HPC-arenan. Traditionellt har MPI-runtimes främst utformats för kluster med ett stort antal noder. Med tillkomsten av MPI+CUDA-applikationer och CUDA-Aware MPI-runtimes som MVAPICH2 och OpenMPI, har det blivit viktigt att ta itu med effektiva kommunikationssystem för sådana täta Multi-GPU noder. Detta i kombination med nya arbetsbelastningar för deep Learning-ramverk som Caffe och Microsoft CNTK innebär ytterligare konstruktionsbegränsningar på grund av mycket stor meddelandekommunikation av GPU-buffertar under utbildningsfasen. I detta sammanhang har särskilda bibliotek som NVIDIA NCCL föreslagits för GPU-baserad kollektiv kommunikation på täta GPU-system. I detta dokument föreslår vi en piped chain (ring) design för MPI Bcast kollektiv drift tillsammans med en förbättrad kollektiv inställning ram i MVAPICH2-GDR som möjliggör effektiv intra-/internode multi-GPU kommunikation. Vi presenterar ett djupgående resultatlandskap för de föreslagna MPI Bcast-programmen tillsammans med en jämförande analys av NVIDIA NCCL Broadcast och NCCL-baserade MPI Bcast. De föreslagna konstruktionerna för MVAPICH2-GDR möjliggör upp till 14X och 16.6X förbättring, jämfört med NCCL-baserade lösningar, för intra- och internode sändningslatens, respektive. Dessutom ger de föreslagna konstruktionerna upp till 7 % förbättring jämfört med NCCL-baserade lösningar för dataparallell utbildning av VGG-nätverket på 128 GPU:er med Microsoft CNTK.
Awan och Al. I Ref föreslogs en piped chain design för MPI-sändningar av kollektiv verksamhet på multi-GPU-noder för att underlätta olika ramar för djupt lärande.
Optimized Broadcast for Deep Learning Workloads on Dense-GPU InfiniBand Clusters: MPI or NCCL?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}