Faits: A. Par arrêté du 27 juillet 2011 publié dans la Feuille d'avis officielle du canton de Genève (ci-après: FAO) du 3 août 2011, le Conseil d'Etat du canton de Genève (ci-après: le Conseil d'Etat) a fixé au 27 novembre 2011 la date d'une votation cantonale pour laquelle le corps électoral genevois avait la possibilité de voter électroniquement par Internet. Le 1er novembre 2011, A._, électeur dans le canton de Genève, a formé un recours auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) concernant la procédure de vote électronique mise en oeuvre pour la votation du 27 novembre 2011. Il a conclu principalement à l'annulation de la votation du 27 novembre 2011 et subsidiairement à la suspension de l'exercice du vote électronique pour la votation du 27 novembre 2011 et pour tout futur scrutin tant que les prescriptions prévues par l'art. 60 al. 6 de la loi sur l'exercice des droits politiques du 15 octobre 1982 (LEDP; RSG A 5 05) n'auraient pas été édictées. Il a développé une argumentation relative aux risques existant en matière de sécurité informatique. Par acte du 21 novembre 2011, A._ a formé un second recours auprès de la Cour de justice "concernant la procédure de vote électronique mise en oeuvre pour la votation du 27 novembre 2011", concluant à la jonction de cette nouvelle procédure à celle déjà pendante et reprenant les conclusions de celle-ci. Son écriture était identique à celle produite le 1er novembre 2011, à l'exception du fait qu'il indiquait désormais avoir reçu le matériel de vote pour la votation du 27 novembre 2011, ce qui lui permettait de constater que la procédure de vote électronique mise en oeuvre était essentiellement la même que celle utilisée pour la votation du 15 mai 2011. Le 19 décembre 2011, A._ a retiré sa conclusion en annulation de la votation du 27 novembre 2011, vu le résultat du scrutin, et indiqué maintenir ses recours pour le surplus. Par arrêt du 21 août 2012, la Cour de justice a déclaré irrecevables les recours, en raison de l'absence de grief concret dirigé contre le système mis en place. B. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de renvoyer la cause à la Cour de justice pour qu'elle ordonne les mesures probatoires demandées, qu'elle statue sur le fond et qu'elle constate que l'instance précédente a violé l'art. 29 al. 1 Cst. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Conseil d'Etat conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. Le recourant a répliqué par courrier du 15 novembre 2012. 