Faits: A. M._, né en 1948, sans formation professionnelle, travaille comme épicier à titre indépendant depuis 1981. Dès le 2 août 2001, il a été en incapacité de travail à 50 %. Le 21 octobre 2002, il a déposé une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. Dans un rapport du 29 octobre 2002, le docteur G._, du Service de rhumatologie de l'Hôpital X._, a posé le diagnostic d'arthrose à localisations multiples (rachis, genou droit et les deux épaules) plus marquée à droite, coxarthrose gauche débutante non exclue et obésité (BMI 34). Le 5 novembre 2002, le docteur R._, médecin traitant de l'assuré, a fait état de polyarthralgies à focalisation rachidienne et cervico-scapulaire et de gonarthrose droite depuis août 2001. La comparaison des champs d'activités issue du rapport d'enquête pour les indépendants du 14 janvier 2004 a abouti à une limitation globale de 50 %; quant aux incapacités de travail, elles ont généré, en prenant en compte le salaire théorique pour chacune de ces activités (ventes, livraisons et gestion), un taux d'invalidité de 52,33 %. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a chargé le docteur T._, spécialiste FMH en rhumatologie et médecine interne, d'une expertise. Dans un rapport du 5 avril 2004, ce médecin a fait état de rachialgies chroniques et polyarthralgies prédominant à l'épaule droite et au genou droit, troubles statiques et dégénératifs modérés du rachis, gonarthrose et omarthrose droite, psoriasis cutané et de lichen plan généralisé. La capacité de travail était évaluée à 50 % dans l'activité habituelle d'épicier depuis le mois d'août 2001 mais pouvait atteindre 85 % dans une activité professionnelle légère sans mouvements répétitifs en porte-à-faux du rachis, travaux lourds, ports de charges de plus de 15 kilos, marche prolongée, principalement la montée et la descente des escaliers et mouvements répétitifs du membre supérieur droit. Dans un rapport du 16 juin 2005, le docteur G._ a estimé que la demande de rente était justifiée par les handicaps que rencontrait l'assuré dans son activité d'épicier indépendant, qui limitaient ses capacités de charge. Il a indiqué que l'assuré travaillait en réalité au-delà de ses forces et qu'un taux d'activité de 50 % était le maximum exigible. Par décision du 27 mars 2006, confirmée sur opposition le 24 janvier 2008, l'office AI a nié le droit de l'assuré à une rente d'invalidité. Il a considéré que ce dernier présentait une capacité de travail de 85 % dans une activité adaptée à son état de santé, lui permettant de réaliser un revenu de 41'188 fr. 33, supérieur au revenu sans invalidité de 26'635 fr. qu'il était en mesure de prétendre dans son activité d'épicier indépendant, de sorte qu'il ne subissait pas de préjudice économique. B. M._ ayant formé un recours contre la décision du 24 janvier 2008, la Cour des assurances sociales du Tribunal cantonal vaudois l'a partiellement admis, par jugement du 3 novembre 2009. La juridiction cantonale a réformé la décision entreprise, accordant à M._ une demi-rente d'invalidité depuis le 1er août 2002. C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, concluant à la confirmation de sa décision. Statuant sur une demande de M._ visant à l'octroi de l'assistance judiciaire gratuite et à la désignation de Me Hofstetter comme avocat d'office, le Tribunal fédéral l'a admise par ordonnance du 10 mars 2010. M._ conclut au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 