Faits: A. M._, né en 1960, était placé en qualité de machiniste par l'entreprise X._. Interpelé le 30 août 2002 par les agents de sécurité d'un grand magasin, il se serait tapé la tête contre les murs jusqu'à en perdre connaissance. Suite à cet incident, M._ a été hospitalisé au Service de psychiatrie adulte et psychogériatrie Y._ du 31 août au 6 septembre 2002. Les docteurs N._ et M._, qui l'ont soigné durant son séjour, ont diagnostiqué une réaction aiguë à un facteur de stress ([CIM-10] F 43.0) et ont attesté une incapacité de travail à 100% jusqu'au 15 septembre 2002 (rapport du 1er octobre 2002). Depuis l'incident du 30 août 2002, M._ n'a pas repris le travail. Il a été pris en charge par les docteurs D._ et A._ de l'Unité psychiatrique ambulatoire du secteur psychiatrique Z._, qui, dans leurs rapports des 24 février et 22 juillet 2003, ont diagnostiqué un trouble dépressif récurrent sévère sans symptôme psychotique ([CIM-10] F 32.2), une anxiété généralisée ([CIM-10] F 41.1) et un trouble mixte de la personnalité paranoïaque et anxieuse ([CIM-10] F 61.0). Ils ont posé un pronostic extrêmement sombre sur la capacité de travail, estimant qu'une invalidité à long terme était vraisemblable. Le 1er septembre 2003, M._ a déposé une demande de prestations de l'assurance-invalidité en vue d'un reclassement professionnel, en raison de fortes migraines, de nervosité excessive et de dépression. Dans un rapport du 18 septembre 2003, les docteurs D._ et A._ ont confirmé leur diagnostic antérieur. Le docteur R._, médecin généraliste et médecin traitant, a, pour sa part, diagnostiqué un état anxio-dépressif après décompensation hystérique avec état de désorientation et amnésie circonstancielle depuis le 31 août 2002, des lombalgies chroniques depuis 1996 et des scapulalgies gauches sur périarthrite scapulo-humérale (PSH) depuis 1996 également. Sur le plan physique, M._ pourrait travailler à 100% dans une activité légère, «pour autant que son état psychique le permette», par contre une activité de chantier n'est plus exigible (rapport du 29 septembre 2003). La doctoresse V._, psychiatre au SMR, a examiné M._ le 26 mai 2005. Dans son rapport du 6 juin 2005, elle n'a retenu aucune atteinte psychiatrique ayant une répercussion sur la capacité de travail mais a diagnostiqué, sans répercussion sur la capacité de travail, une dysthymie ([CIM-10] F 34.1) et des difficultés dans les rapports avec le conjoint (Z 63.0). Sur le plan physique, M._ a été examiné le 29 juillet 2005 par le docteur P._, rhumatologue, qui n'a diagnostiqué aucun trouble rhumatologique ayant une répercussion sur la capacité de travail. Il a constaté la présence de céphalées de tension, de lombalgies communes, non irritatives, non déficitaires, de troubles statiques du rachis cervicodorsal et un status post-excision d'un kyste sinusal maxillaire, toutes affections sans répercussion sur la capacité de travail. Le docteur P._ a reconnu à M._ une pleine capacité de travail dans l'activité de machiniste, à condition d'éviter l'exposition à des bruits intenses sans protection acoustique en raison des céphalées (rapport du 10 octobre 2005). Par décision du 11 novembre 2005, l'office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a rejeté la demande de prestations de M._, estimant sa capacité de travail entière dans son activité habituelle et dans toute autre activité adaptée. Le 12 juillet 2007, l'office AI a rejeté l'opposition de M._. B. M._ a déféré cette décision devant le Tribunal des assurances du canton de Vaud. Par jugement du 9 octobre 2008, la juridiction cantonale - aujourd'hui: la Cour des assurances sociales du Tribunal cantonal vaudois - a rejeté le recours. C. M._ interjette un recours en matière de droit public contre ce jugement, dont il demande à titre principal qu'il soit réformé en ce sens qu'une rente entière d'invalidité lui est accordée dès le 31 août 2002, concluant à titre subsidiaire au renvoi de l'affaire à l'autorité cantonale pour instruction complémentaire sous la forme d'une expertise. Il requiert par ailleurs le bénéfice de l'assistance judiciaire. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 