Faits: A. Propriétés de Y._ Sàrl, les parcelles nos 2'033 et 2'673 du cadastre de la commune de Choulex sont toutes deux affectées en partie en zone 4B protégée de village et en partie en zone agricole. Par décision du 19 février 2010, le Département des constructions et des technologies de l'information (actuellement le Département de l'urbanisme, DU) a délivré une autorisation de construire sur ces parcelles un immeuble de deux niveaux comportant plusieurs logements, conformément au sixième projet présenté par la propriétaire. Par décision du même jour, le Département du territoire (actuellement le Département de l'intérieur, de la mobilité et de l'environnement, DIME) a autorisé l'abattage d'un arbre situé sur la parcelle n° 2'033. Plusieurs opposants à ce projet, dont X._, ont recouru sans succès contre ces décisions auprès de la commission cantonale de recours en matière administrative. Saisie à son tour, la Chambre administrative de la Cour de justice a, par arrêt du 15 mai 2012, confirmé l'octroi des autorisations de construire et d'abattage d'un arbre. Elle a constaté que le bâtiment projeté serait édifié entièrement dans la zone à bâtir. B. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt de la Chambre administrative du 15 mai 2012, l'intimée étant déboutée de toute autre conclusion. Subsidiairement, il conclut à l'annulation de la décision entreprise et au renvoi de la cause pour nouvelle décision dans le sens des considérants. Il requiert en outre l'effet suspensif. La Cour de justice n'a aucune observation à formuler. Le DU, le DIME et l'intimée concluent au rejet du recours. Le recourant a renoncé à déposer des observations complémentaires. Par ordonnance du 6 septembre 2012, le Président de la Ire Cour de droit public a rejeté la demande d'effet suspensif. 