Faits: A. Y._, architecte, et X._, ingénieur civil, ont oeuvré ensemble pour obtenir de A._ la conclusion d'une promesse de vente par laquelle ce dernier, en tant que promettant-vendeur, s'est engagé à leur vendre, en tant que promettants-acheteurs solidaires, une parcelle dans la commune de ... (Genève). Y._ et X._ ont également travaillé ensemble pour obtenir l'autorisation, délivrée le 16 août 2005, d'y ériger une construction. Etant partenaire chacun à 50% dans cette promotion immobilière, ils partaient de l'idée que chacun d'eux obtiendrait l'un le mandat d'architecte et l'autre le mandat d'ingénieur civil. Pour des raisons qui n'ont pas été élucidées, X._ s'est retiré du projet, alors qu'il n'y avait aucun moyen de l'y contraindre. Il a reçu 12'000 fr. pour les prestations d'ingénieur qu'il avait effectivement fournies. Il semble qu'il ait alors tenté d'obtenir de Y._ une sorte de compensation pour la perte des espérances liée à ce projet immobilier. Il a tout d'abord sollicité que le mandat d'ingénieur lui soit confié, ce que Y._ a refusé, par lettre du 26 octobre 2005, pour le motif que les honoraires demandés étaient trop élevés. Parallèlement, X._, par une lettre du 27 octobre 2005, a soutenu qu'un arrangement avait été trouvé entre les parties lors des entretiens des 2 et 26 septembre 2005 et que Y._ allait lui verser 40'000 fr. à titre de dédommagement pour son retrait de l'affaire. Y._ n'a pas répondu à ce courrier. Un autre entretien a eu lieu entre les parties le 16 janvier 2006 qui a donné lieu à une nouvelle lettre adressée par X._ à Y._ le 17 janvier 2006, dans laquelle il invoque à nouveau un arrangement et présente deux factures d'un montant total de 40'000 fr. correspondant cette fois-ci à un salaire de courtier. Y._ n'a pas davantage répondu à cette lettre. B. X._ a déposé auprès du Tribunal de première instance du canton de Genève une demande en paiement dirigée contre Y._, lui réclamant différents montants, sur lesquels seuls restent litigieux devant le Tribunal fédéral les 40'000 fr. déjà évoqués. Par jugement du 23 avril 2009, le Tribunal de première instance a condamné Y._ à payer à X._ le montant de 40'000 fr. avec intérêts à 5% l'an dès le 28 mars 2007 sous déduction de 2'000 fr. versés en juillet 2008, ainsi qu'un montant de 912 fr. avec intérêts à 5% l'an dès le 10 février 2006. Le Tribunal a considéré en substance que le silence de Y._ à réception de la lettre du 16 janvier 2006 devait être compris comme un acquiescement et que la somme était due à X._ en qualité de courtier négociateur. Saisie d'un appel de Y._, la Chambre civile de la Cour de justice, par arrêt du 12 mars 2010, a annulé le jugement attaqué et rejeté la demande de X._ avec suite de dépens. Elle a retenu qu'au moment des faits, aucune des parties n'avait eu la volonté de conclure un contrat de courtage, qu'elles s'étaient au contraire entendues sur un contrat de société simple, que X._ en était sorti par sa volonté et qu'il n'avait pas prouvé de faits permettant de fonder sa créance, étant retenu que le silence de sa partie adverse, dans les circonstances d'espèce, ne pouvait valoir acquiescement à la prétention de X._. C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 12 mars 2010. Invoquant une violation du droit d'être entendu (art. 29 al. 2 Cst.), une transgression de l'art. 112 al. 1 let. b LTF, ainsi que des art. 8 CC et 6 CO, le recourant conclut à l'annulation de l'arrêt attaqué et à ce que sa partie adverse soit condamnée à lui verser, sous suite de dépens, la somme de 20'000 fr. avec intérêts à 5% l'an dès le 30 juin 2005 et la somme de 20'000 fr. avec intérêts à 5% l'an dès le 31 décembre 2006, étant précisé qu'un montant de 2'000 fr. pourra être imputé sur les montants précités; subsidiairement, il a demandé le renvoi de la cause à l'autorité précédente. Y._ (ci-après: l'intimé) a conclu au rejet du recours avec suite de dépens. 