Faits: A. Dès le 2 décembre 1997, X._ a travaillé en qualité de consultant pour V.A._ SA, société avec siège à Genève poursuivant le but de fournir des services de consultants à la direction de sociétés, ainsi que de traiter des affaires de représentation générale et de courtage notamment en matière d'assurances. Le capital social de V.A._ SA, déclarée en faillite le 19 septembre 2011, était constitué de 10'000 actions au porteur d'une valeur nominale de 10 fr. Y._ en était l'actionnaire majoritaire et l'administrateur. X._ est devenu associé et actionnaire de la société le 1er mai 2001 en achetant 700 actions. Le 29 juin 2001, il a signé une Convention d'actionnaires (ci-après: la Convention) qui prévoit à son art. 26: "Tout actionnaire-sortant s'engage à céder aux autres actionnaires les actions qu'il détient au jour de l'échéance de son contrat de travail, et ce pour le prix qui sera arrêté en application de la méthode figurant à l'annexe 3 de la présente convention. (...). Le Conseil d'Administration de la société s'engage, dans un délai de huit jours à compter de l'échéance du contrat de travail ou de la cessation de l'activité de l'actionnaire-sortant, à solliciter du réviseur de V.A._ SA l'évaluation, en application de la méthode de calcul figurant à l'annexe 3, du prix de ses actions, étant précisé que le prix qui sera ainsi arrêté s'imposera au vendeur et à/aux acquéreur(s) sans recours possible. Dans un délai de 30 jours à compter de la réception par V.A._ SA, ses actionnaires et/ou l'actionnaire sortant, de l'évaluation par le réviseur, l'actionnaire-sortant s'engage à mettre à la disposition des actionnaires ayant manifesté leur intention de faire usage de leur droit d'emption l'intégralité de ses actions contre l'engagement de ce(s) dernier(s) de payer le prix arrêté par le réviseur. A défaut pour l'actionnaire-sortant de s'exécuter, il devra payer aux autres actionnaires ayant manifesté leur intention de faire usage de leur droit d'emption, au prorata des actions de V.A._ SA que ces derniers détiennent, une somme de Frs 100'000.- au titre de clause pénale. Les actionnaires restant ayant manifesté leur intention de faire usage de leur droit d'emption pourront, en outre et cumulativement, agir contre l'actionnaire-sortant en exécution de son engagement de céder ses actions." L'annexe 3 de la Convention décrit la méthode pour définir la valeur des sociétés non cotées en Suisse. Le 11 mai 2007, X._ a démissionné de son poste de consultant, avec effet au 30 novembre 2007. Par courrier du 26 juillet 2007, Y._ lui a rappelé son devoir de vendre les 700 actions, conformément à l'art. 26 de la Convention. Il indiquait que la société se portait acquéreuse des actions. Le prix de l'action, qui devait être calculé au 31 décembre 2006, serait approuvé le 28 août 2007 et versé à X._ le 31 août 2007; une éventuelle plus-value au 30 novembre 2007 pouvait être versée au plus tard le 31 décembre 2007. Le 9 août 2007, X._ a décliné la proposition de V.A._ SA. Selon lui, la valeur des actions devait être évaluée au 30 novembre 2007; jusqu'à cette date, il restait propriétaire des 700 actions. Le 21 septembre 2007, Y._ a exercé son droit d'emption sur les 700 actions de X._. Un chèque de 24'010 fr. était joint au courrier. Un bilan intermédiaire au 30 novembre 2007 allait être établi et la valeur des actions serait recalculée à cette même date, l'éventuelle différence en faveur de l'ex-employé étant versée au plus tard le 31 janvier 2008. Le 9 octobre 2007, le conseil de X._ a retourné à Y._ le chèque et l'a sommé de restituer à son mandant le lot des 700 actions au porteur. Le 23 octobre 2007, X._ a offert à Y._ de lui vendre ses actions pour la somme de 200'000 fr. correspondant, selon lui, à la valeur de l'entreprise sur le marché résultant de sa reprise imminente par une société américaine de la branche. Le 31 octobre 2007, Y._ a décliné l'offre et précisé que les certificats d'actions n'avaient pas encore été émis. Par courrier du 2 novembre 2007, X._ a reproché à l'administrateur d'avoir cherché à exercer de manière prématurée son droit d'emption. Il a réclamé l'original des certificats d'actions de V.A._ SA et V.B._ LTD du Royaume-Uni (filiale appartenant au même groupe que V.A._ SA). Le 15 novembre 2007, Y._ a transmis à son ex-employé un certificat d'actions représentant les 700 actions au porteur. Par courrier du 5 décembre 2007, l'administrateur a indiqué exercer son droit d'emption sur les actions. Le 8 janvier 2008, il a mis en demeure X._ de mettre à disposition ses 700 actions, lui rappelant la clause pénale conventionnelle. Un chèque d'un montant de 7'441 fr. était annexé au courrier. Le 12 février 2008, X._ a décliné l'offre, contestant le calcul établi au 30 novembre 2007. Au surplus, il reprochait à l'administrateur de chercher à diminuer artificiellement la valeur du titre de la société. Le 15 février 2008, l'ex-employé a informé l'administrateur qu'il avait encaissé, à titre d'acompte, le chèque de 7'441 fr. Le 21 août 2008, Y._ a revu les calculs de valorisation des actions et invité X._ à lui communiquer les coordonnées de son compte bancaire sur lequel la somme résiduelle de 14'585 fr. devait être versée. Cette proposition est restée sans suite. B. Le 21 octobre 2008, Y._ a déposé une action en exécution et en paiement à l'encontre de son ex-employé devant le Tribunal de première instance de Genève, sollicitant la remise des 700 actions (incorporée dans le certificat d'actions) et le versement de 100'000 fr. à titre de peine conventionnelle. Un jugement conforme a été rendu par défaut et X._ a relevé le défaut. Concluant au rejet de la demande, il a préalablement requis du juge une expertise afin d'évaluer la valeur au 31 décembre 2007 (recte: 30 novembre 2007) du certificat d'actions représentant les 700 actions au porteur de V.A._ SA. Le Tribunal de première instance a entendu divers témoins qui ont confirmé que la méthode décrite dans l'annexe 3 de la Convention avait toujours été utilisée pour définir le prix des actions. Par courrier du 13 novembre 2009 adressé au tribunal, l'organe de révision a corrigé plusieurs erreurs de calcul de son appréciation précédente et a fixé la valeur d'une action à 11 fr.93 au 30 novembre 2007. Dans ses calculs, le réviseur ne retient "aucun montant à titre de goodwill vu les résultats de la société". Y._ a modifié ses conclusions pour requérir la condamnation de sa partie adverse à payer 100'000 fr. à titre de clause pénale moins 8'351 fr. (11 fr.93 x 700 actions). Par jugement du 8 février 2011, le Tribunal de première instance de Genève a admis entièrement les conclusions prises par le demandeur et condamné le défendeur à une indemnité de procédure de 15'000 fr. Appelant du jugement, le défendeur conteste le calcul du prix des actions, considérant notamment que la valeur du goodwill a été "négligée" par le premier juge et que les résultats comptables sont diminués par toute une série de provisions imposées sans raison par le demandeur. S'agissant de la clause pénale, il soutient que celle-ci ne lui est pas applicable; selon lui, il n'a commis aucune faute en ne remettant pas le certificat d'actions puisqu'il refusait de le remettre sur la base de l'estimation faite à l'époque par Y._ à 10 fr.63 l'action et que, précisément, à la fin de la procédure de première instance, le prix de l'action a été fixé plus haut, soit à 11 fr.93 l'action. Par jugement du 11 mai 2012, la cour cantonale a confirmé que X._ devait remettre le certificat d'actions contre le paiement de 8'351 fr. Elle a par contre réduit le montant de la peine conventionnelle, condamnant X._ à verser à ce titre la somme de 25'000 fr. à Y._. C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 11 mai 2012. Il conclut, principalement, à son annulation et au renvoi de la cause à l'autorité précédente et, subsidiairement, à l'annulation de l'arrêt et au rejet de la demande, avec suite de frais et dépens. Le recourant invoque une violation de son droit à la preuve (art. 8 CC, art. 152 CPC), de son droit d'être entendu (art. 29 al. 2 Cst.), une appréciation arbitraire des preuves sur la question du cours de l'action (art. 9 Cst.) et la transgression de l'art. 2 CC, ainsi que des art. 18, 160, 163 et 541 al. 1 CO. L'intimé conclut au rejet du recours et à la confirmation de la décision cantonale. Le recourant a transmis une réplique au Tribunal fédéral, que l'intimé estime irrecevable. L'effet suspensif sollicité par le recourant a été accordé par ordonnance présidentielle du 16 juillet 2012. 