Faits: A. A._ est propriétaire de la parcelle 340, feuille 25, de la commune de Dardagny. Ce bien-fonds, d'une surface de 2'810 m2, est incluse dans le périmètre du plan de site du village de Dardagny du 16 septembre 1981. Deux bâtiments d'habitation y sont érigés, comportant chacun un logement. Par requête du 3 juillet 2007, A._ a sollicité du Département cantonal des constructions et des technologies de l'information (ci-après: le département ou le DCTI) la délivrance d'une autorisation de construire, sur la parcelle précitée, une villa individuelle avec bassin d'agrément, comprenant un étage sur rez, un sous-sol avec jours naturels et des combles. Dans le cadre de l'instruction de cette requête, ont notamment été recueillis le préavis de la commune de Dardagny du 6 mars 2008, favorable, et celui de la commission des monuments, de la nature et des sites (ci-après: la CMNS) du 13 mai 2008, négatif. D'après la CMNS, le sous-sol était accessible de plain-pied depuis le jardin. Sa construction générale en baies vitrées en faisait un lieu habitable, ce qui était contraire au règlement du plan de site. La commission n'était pas opposée à la création d'un véritable sous-sol dont le niveau serait notablement en-dessous du niveau du sol. Le projet nécessitait l'octroi de dérogations; l'une pour la distance insuffisante entre la construction future et le bâtiment 527, l'autre pour l'indice d'utilisation du sol (ci-après: IUS), qui était supérieur à celui prévu par le plan de site. La CMNS pourrait entrer en matière sur ces dérogations si le projet donnait entière satisfaction en termes d'intégration et d'expression générale, ce qui n'était pas le cas en l'espèce. Elle demandait une modification du projet. B. Considérant que l'instruction de sa requête prenait trop de temps, A._ a adressé, le 22 mai 2008, un long courrier recommandé au chef du département, dans lequel il faisait valoir de nombreux griefs en rapport avec la procédure d'autorisation. Il lui a envoyé un second courrier le 3 juin 2008. Il affirmait que sa lettre du 22 mai 2008 constituait un avis formel au sens de l'art. 4 al. 4 de la loi genevoise du 14 avril 1988 sur les constructions et les installations diverses (RS/GE L 5 05; ci-après: la LCI), qui permettait au requérant n'ayant pas obtenu une décision dans un délai de dix jours suivant cet avis de commencer les travaux. Il procédait ainsi à l'exécution de son projet. Le 12 juin 2008, le département a contesté que le courrier du 22 mai 2008 constitue un avis formel. Par décision du 13 juin 2008, il a refusé l'autorisation sollicitée, au motif principal que le projet, qui prévoyait un IUS de 3.32, n'était pas conforme aux art. 34, 48 et 106 LCI ainsi qu'aux art. 13 et 14 du règlement du plan de site. C. A._ a recouru auprès de la commission cantonale de recours en matière administrative (ci-après: la commission), remplacée depuis le 1er janvier 2011 par le Tribunal administratif de première instance (ci-après: le TAPI), contre le refus d'autorisation de construire du 13 juin 2008. B._ et C._ sont intervenus à cette procédure en leur qualité de propriétaires voisins de la parcelle de A._. Statuant sur partie le 8 mai 2009, la commission a rejeté les conclusions de l'intéressé tendant préalablement au prononcé de la nullité de plein droit de la décision de refus et, alternativement, à son annulation. Elle gardait au surplus la cause à juger sur les autres conclusions. Par arrêt du 23 mai 2010, le Tribunal administratif du canton de Genève, devenu depuis le 1er janvier 2011 la Chambre administrative de la Cour de justice (ci-après: la Chambre administrative), a admis partiellement le recours de A._ contre la décision de la commission. Il a annulé cette décision en ce qu'elle rejetait les conclusions en annulation et la confirmait pour le surplus. La cause était renvoyée à la commission pour nouvelle décision. Les juges cantonaux ont considéré que le courrier du 22 mai 2008 de l'intéressé ne constituait pas un avis formel au sens de l'art. 4 al. 4 LCI, de sorte que le refus de l'autorisation de construire avait été pris dans les délais légaux. Le Tribunal fédéral a déclaré irrecevable le recours interjeté par A._ contre cette décision (arrêt 1C_240/2010 du 1er juin 2010). A la suite du renvoi du Tribunal administratif et après avoir entendu les parties en audience de comparution personnelle, le TAPI a rejeté le recours de A._ par jugement du 11 mars 2011. L'intéressé a porté sa cause devant la Chambre administrative qui, par arrêt du 3 avril 2012, a également rejeté son recours. La Chambre administrative a considéré en substance que le département était en droit de refuser l'autorisation de construire sollicitée et de suivre les recommandations de la CMNS. Il n'y avait par ailleurs pas d'inégalité de traitement. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt de la Chambre administrative du 3 avril 2012 et de prononcer la nullité de la décision du DCTI du 13 juin 2008. Subsidiairement, il conclut à l'annulation de la décision entreprise et au renvoi de la cause pour nouvelle décision dans le sens des considérants. Il se plaint pour l'essentiel d'une constatation inexacte des faits, d'une mauvaise application du droit cantonal et d'une violation de divers droits fondamentaux. La Chambre administrative s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le DCTI s'en rapporte également à justice quant à la recevabilité du recours, dont il conclut au rejet. Les intimés concluent à l'irrecevabilité du recours, subsidiairement à son rejet. 