Faits: A. A.a P._, parqueteur de formation, a exercé en Suisse plusieurs professions, en travaillant notamment en qualité d'ajusteur-monteur et de poseur de plafonds. Au chômage, il a été victime le 5 avril 2008 d'un accident à la main droite ayant entraîné une contusion, avec entorse des trois premières articulations métacarpophalangiennes, dont l'évolution a été défavorable et a nécessité plusieurs interventions effectuées à la Clinique X._ par le professeur E._, spécialiste FMH en chirurgie plastique et reconstructive, chirurgie de la main. La Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA) a pris en charge le cas. A la suite d'un séjour du prénommé durant le mois d'août 2010 à la Clinique Y._, les docteurs K._ (spécialiste FMH en rhumatologie) et M._ - médecins associé et assistant du Service de réadaptation de l'appareil locomoteur -, dans un rapport du 23 septembre 2010, ont posé le diagnostic principal de thérapies physiques et fonctionnelles pour douleurs persistantes et raideur de l'index droit. Ils indiquaient que l'incapacité de travail restait totale dans des activités nécessitant les ports de charges lourdes, demandant de la force de serrage au niveau de la main et des mouvements très répétitifs de préhension et que dans une activité respectant ces limitations, on pouvait s'attendre à une capacité de travail totale. Dans un examen médical final du 21 octobre 2010, le docteur O._, médecin d'arrondissement, a considéré que la situation était stabilisée et que l'exigibilité était complète dans une activité adaptée aux limitations fonctionnelles. Partageant ce point de vue, le professeur E._, dans une lettre du 3 décembre 2010, a renouvelé son avis selon lequel le patient ne pourrait reprendre une activité de parqueteur et il appartenait à l'assurance-invalidité de mettre en oeuvre une réadaptation professionnelle. Par décision du 10 mars 2011, confirmée sur opposition le 31 mai 2011, la CNA a alloué à P._ une rente d'invalidité à partir du 1er avril 2011 pour une incapacité de gain de 13 %. A.b La CNA a annoncé à l'Office de l'assurance-invalidité pour le canton de Vaud une incapacité de travail de 100 % depuis le 5 avril 2008, pour une détection précoce. Un entretien s'est tenu le 2 octobre 2008, à la suite duquel P._ a présenté le 4 mars 2009 une demande de prestations de l'assurance-invalidité. Dans un rapport du 10 décembre 2010, le docteur L._, médecin SMR, se fondant sur les conclusions du docteur O._ dans l'examen médical final du 21 octobre 2010, a retenu que l'assuré avait présenté une incapacité de travail de 100 % depuis le 5 avril 2008 et que la capacité de travail exigible était nulle dans l'activité de parqueteur et de 100 % dans une activité adaptée, le début de l'aptitude à la réadaptation remontant à août 2010 séjour à la Clinique Y._. Dans un préavis du 9 février 2011, l'office AI a informé P._ qu'il avait présenté une incapacité de travail de 100 % dès le 5 avril 2008 et une invalidité de 100 % à partir du 5 avril 2009 et que dès le mois d'août 2010, une pleine capacité de travail était exigible de sa part dans une activité adaptée aux limitations fonctionnelles (pas de port de charges lourdes, pas de travaux de force avec la main droite ni de gestes répétitifs de préhension avec cette main), de sorte qu'il avait droit à une rente entière d'invalidité à partir du 1er septembre 2009 (soit six mois après le dépôt de la demande) jusqu'au 30 novembre 2010 (soit trois mois après l'amélioration de son état de santé) vu que son invalidité était désormais de 10 %, compte tenu d'un revenu sans invalidité de 61'385 fr. 65 et d'un revenu d'invalide de 55'247 fr. 08 par année (valeur 2010). Par décision du 11 août 2011, il lui a alloué une rente entière d'invalidité du 1er septembre 2009 au 30 novembre 2010. B. Le 14 septembre 2011, P._ a formé recours contre la décision de l'office AI du 11 août 2011 devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant, sous suite de frais et dépens, à son annulation, la cause étant renvoyée à l'office AI pour complément d'instruction et nouvelle décision. A titre subsidiaire, il concluait à ce que cette décision soit réformée en ce sens qu'il avait droit à une rente entière d'invalidité. Produisant un rapport du professeur E._ du 23 mars 2011 établi à la suite d'une consultation ayant eu lieu le jour précédent et adressé à la CNA, dont il alléguait qu'il attestait une aggravation de son état de santé, il requérait la mise en oeuvre d'une expertise médicale à confier à un spécialiste en chirurgie de la main, en proposant à choix le nom de deux collègues du professeur E._. Dans sa réponse du 17 octobre 2011, l'Office de l'assurance-invalidité pour le canton de Vaud, concluant au rejet du recours, a relevé que dans un avis du 23 mai 2011, le docteur O._, auquel le rapport du professeur E._ du 23 mars 2011 avait été soumis, indiquait que l'impact fonctionnel était minime et que les limitations fonctionnelles restaient strictement identiques à celles retenues jusqu'alors. P._ a dans un premier temps déposé des observations le 28 novembre 2011, puis produit le 14 juin 2012 un rapport du professeur E._ du 8 juin 2012 qui soutenait sa demande d'expertise médicale. Par arrêt du 18 juillet 2012, la juridiction cantonale a rejeté le recours. C. P._ interjette un recours contre ce jugement, en concluant, sous suite de frais et dépens, à son annulation, la cause étant renvoyée à l'Office de l'assurance-invalidité pour le canton de Vaud pour complément d'instruction dans le sens des considérants de l'arrêt de renvoi et nouvelle décision. 