Faits: A. A._, né le 7 janvier 1962, est titulaire d'un permis de conduire les véhicules automobiles (catégories A1, B, B1, BE, D1, D1E, F, G et M) depuis le 24 juin 1980. Le 29 juin 2008, il a été victime d'un accident vasculaire cérébral qui a entraîné une quadranopsie homonyme supérieure droite totale et une quadranopsie homonyme inférieure droite partielle (soit une perte de la vue dans la totalité du quart supérieur droit et une partie du quart inférieur droit du champ visuel de chaque ?il). Dans le cadre d'une expertise menée en cours de procédure, l'Unité de médecine et de psychologie du trafic du Centre universitaire romand de médecine légale (ci-après: UMPT) a soumis A._ à une série de tests à l'issue desquels celui-ci a été évalué inapte à la conduite de véhicules automobiles pour un motif ophtalmologique, aucune dérogation n'étant possible à son égard. En particulier, au test dit de la "double tâche", consistant à évaluer la gestion de deux tâches simultanées (d'une part éviter des obstacles à l'aide d'un volant et d'autre part détecter des piétons apparaissant dans le champ visuel périphérique puis les signaler en appuyant sur des pédales), il est apparu que la capacité de compensation de l'intéressé, bien que celui-ci ait été constamment en alerte et ait présenté de bonnes stratégies de compensation, n'avait pas été suffisante pour éviter trois omissions de piétons se situant dans l'hémichamp droit. L'UMPT a relevé que le champ visuel de A._ était d'approximativement 90°. B. Par décision du 30 août 2010, le Service des automobiles et de la navigation (ci-après: le SAN) a ordonné le retrait du permis de conduire de A._ pour une durée indéterminée et subordonné la révocation de cette mesure aux conclusions favorables d'une expertise de l'UMPT. Cette décision a été confirmée le 8 mars 2011 sur réclamation. Statuant par arrêt du 20 janvier 2012, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal ou la cour cantonale) a rejeté le recours formé par A._ contre cette décision. En substance, le Tribunal cantonal a constaté que le champ visuel horizontal de A._ mesuré au point de fixation central est de 90°, ce qui ne satisfait pas aux exigences médicales requises pour la délivrance du permis de conduire. Compte tenu du résultat de l'expertise réalisée par l'UMPT, la cour cantonale a également confirmé le refus d'octroi d'une dérogation. C. Par acte du 22 février 2012, A._ recourt contre cet arrêt auprès du Tribunal fédéral. Il conclut à la restitution d'un permis de conduire de la catégorie B, subsidiairement à ce qu'il soit autorisé à répéter le test de la double-tâche conditionnant la restitution du permis de conduire. Le Tribunal cantonal, le SAN et l'Office fédéral des routes concluent au rejet du recours. 