Faits: A. Suite à la rupture, le 12 décembre 2000, du puits blindé du complexe Cleuson-Dixence, une procédure pénale a été engagée par le Ministère public contre C._, A._, D._ et E._. Par jugement du 6 août 2007, le juge II des districts d'Hérens et Conthey a notamment reconnu E._ coupable d'homicide par négligence, d'inondation et d'écroulement par négligence ainsi que d'entrave par négligence à la circulation publique et aux services d'intérêt général. Il l'a condamné à 120 jours-amende et l'a mis au bénéfice du sursis. Le 1er octobre 2007, E._ a déposé une déclaration d'appel contre ce jugement, requérant au surplus la mise en oeuvre d'une expertise métallurgique ainsi que le dépôt du rapport du professeur F._ du 25 septembre 2007, subsidiairement l'audition de son auteur. Il a également sollicité l'audition des témoins G._ et H._. B. Par décision du 3 décembre 2007, la Présidente de la Cour pénale II du Tribunal cantonal du canton du Valais (ci-après: la présidente de la Cour pénale), B._, a rejeté la requête de complément d'instruction, à l'exception du dépôt du rapport du professeur F._. Elle a jugé que, s'agissant de l'étude microfractographique des zones de la surface de rupture et des autres échantillons prélevés durant l'enquête, l'expertise sollicitée était impropre à fournir les éclaircissements requis, de sorte qu'il n'était pas nécessaire d'examiner au surplus la pertinence des faits qu'elle était censée établir. Elle a en outre estimé que la Cour serait en mesure d'apprécier les objectifs de l'analyse multicritère confiée à H._, les circonstances dans lesquelles cette dernière avait pris fin ainsi que la transmission des mesures de I._ SA concernant les contraintes résiduelles, sans l'apport d'une expertise. Enfin, elle a considéré que l'audition de H._ n'était ni déterminante ni essentielle. Elle a par ailleurs refusé celle de G._ au motif que les questions qui devaient lui être posées auraient pu l'être précédemment. Au demeurant un tel moyen de preuve n'apparaissait pas utile vu le laps de temps écoulé depuis les faits. Le 17 décembre 2007, E._ a demandé la récusation de B._. Le 7 janvier 2008, la Cour pénale II a rejeté cette requête. C. Agissant par la voie du recours en matière pénale, E._ demande au Tribunal fédéral d'annuler la décision de la Cour pénale du 7 janvier 2008 ainsi que le jugement rendu par la même autorité le "5 février 2008" et enfin d'admettre la requête de récusation dirigée contre B._. Il se plaint d'une violation des art. 30 al. 1 Cst. et 6 par. 1 CEDH. Par lettre du 6 février 2008, E._ a fait savoir au Tribunal fédéral qu'il avait, lors des débats d'appel du 15 janvier 2008, formé une nouvelle requête de récusation dirigée cette fois contre la Cour elle-même. Vu le rejet de cette dernière, il a sollicité la suspension de la cause jusqu'à droit connu sur la décision du Tribunal cantonal sur la nouvelle demande de récusation. Par ordonnance du 8 février 2008, le Président de la Ire Cour de droit public a fait droit à cette demande et a suspendu l'instruction du recours. Par courrier du 4 avril 2008, E._ a informé le Tribunal fédéral que la récusation ferait l'objet d'un recours en matière pénale qu'il avait l'intention de former contre le jugement final du 1er février 2008 rendu par la Cour pénale II. Par ordonnance du 8 avril 2008, le Président de la Ire Cour de droit public a ordonné la reprise de l'instruction du recours. Il a estimé que l'affaire pouvait être traitée de manière séparée, quand bien même le dépôt d'un autre recours, dirigé contre le jugement final de la juridiction d'appel, était annoncé. La Cour pénale II s'est référée aux considérants de son jugement. B._ a pour sa part renoncé à déposer une réponse. 