Faits: A. Le 9 août 2007, la gendarmerie a été informée qu'une agression commise par un groupe de skinheads à l'encontre de trois personnes d'origine africaine s'était produite rue de Lausanne, à Genève. Elle a interpellé les huit membres du groupe d'agresseurs dont faisait partie X._. B. Par jugement du 16 février 2009, le Tribunal de police du canton de Genève a condamné X._, pour agression, à une peine pécuniaire, assortie d'un sursis pendant cinq ans, de 90 jours-amende d'un montant unitaire de 80 fr., sous déduction de la détention préventive, ainsi qu'à une amende de 500 fr., dont la peine privative de li-berté de substitution a été fixée à 5 jours. Les premiers juges ont retenu, notamment sur la base du témoignage de trois soldats en congé ayant assisté à l'altercation, qu'il convenait d'écarter l'idée d'une bagarre confuse ayant opposé deux groupes d'amis. Ils ont privilégié la thèse de l'attaque unilatérale de X._ et de ses comparses, à savoir A._, B._, C._, D._, E._ et un mineur prénommé F._, sans qu'il n'y ait eu de provocation des victimes G._, H._ et I._. C. Par arrêt du 12 octobre 2009, la Chambre pénale de la Cour de justice genevoise a annulé le jugement de première instance en tant qu'il fixait le délai d'épreuve du sursis à 5 ans pour l'arrêter à 3 ans. Elle l'a confirmé pour le surplus. D. X._ dépose un recours en matière pénale au Tribunal fédéral. Invoquant l'arbitraire, une violation du principe "in dubio pro reo" et de l'art. 134 CP, il conclut, principalement, à son acquittement du chef d'accusation d'agression et, subsidiairement, au renvoi de la cause à l'autorité précédente. 