Faits: A. A._, ressortissant d'ex-Yougoslavie né en 1974, a été refoulé de Suisse le 21 avril 2001 après que sa demande d'asile ait été refusée. Le 30 août 2004, il a épousé B._, ressortissante suisse et a dès lors obtenu une autorisation de séjour. En 2006, il a fondé une société anonyme inscrite au registre du commerce du canton de Genève, active dans le domaine de la pose de dalle, la pein-ture, la maçonnerie et la rénovation, dont il est l'unique administrateur. Le couple a cessé de faire ménage commun en janvier 2006 et n'a repris la vie commune en mai 2008 que pour deux ou trois mois, en raison de l'état de santé psychologique de l'épouse. Par décision du 24 mars 2010, l'Office cantonal de l'inspection du travail et des relations du travail du canton de Genève a considéré que l'entreprise de l'intéressé et sa demande d'exercer une activité économique indépendante ne présentaient pas d'intérêt économique suffisant pour la Suisse. Cette décision a été confirmée par jugement du 8 février 2011 du Tribunal administratif de première instance puis par arrêt du 3 juillet 2012 de la Cour de justice du canton de Genève. Par décision du 9 avril 2010, le Service cantonal de la population du canton de Vaud a refusé de renouveler l'autorisation de séjour de A._ et lui imparti un délai de trois mois pour quitter la Suisse. Par mémoire du 17 mai 2010, l'intéressé a interjeté recours contre la décision du 9 avril 2010 auprès du Tribunal cantonal du canton de Vaud. Il a fait valoir que la durée de la vie commune dépassait les trois ans, parce que les périodes de domiciles séparés étaient justifiées par l'état de santé de l'épouse. Il a en outre invoqué son intégration réussie. B. Par arrêt du 20 août 2013, le Tribunal cantonal a rejeté le recours. Il a jugé que la durée du ménage commun des époux jusqu'à leur première séparation s'était élevée à 16 mois tout au plus et que la reprise de la vie commune en 2008 avait duré trois mois, de sorte que l'intéressé ne pouvait se prévaloir de l'art. 50 al.1 let. a LEtr. Le fait de consacrer beaucoup de temps à sa famille dans son pays d'origine (arrêt attaqué, consid. 3d/aa, p. 15) ou les problèmes de santé de l'un des conjoints, hormis les séjours en institution pour traitement (arrêt attaqué, consid. 3d/cc, p. 17) ne constituaient pas une impossibilité objective de faire ménage commun au sens de l'art. 49 LEtr. L'intéressé ne se trouvait pas non plus dans un cas de rigueur qui justifiait la prolongation de son permis de séjour après dissolution de la famille. Il n'avait pas subi de violences conjugales et sa réintégration dans son pays d'origine n'était pas fortement compromise. Enfin, il ne pouvait fonder son droit de séjour sur le droit au respect de sa vie privée garanti par l'art. 8 CEDH. C. Agissant par la voie du recours en matière de droit public et celle subsidiaire du recours constitutionnel, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de renvoyer la cause à l'instance précédente pour complément d'instruction, subsidiairement, d'annuler l'arrêt rendu le 20 août 2013 par le Tribunal cantonal du canton de Vaud et de renouveler son autorisation de séjour. Il se plaint de l'appréciation arbitraire des preuves et de la violation de son droit d'être entendu ainsi que de celle des art. 50 LEtr et 8 CEDH. Par ordonnance du 27 septembre 2013, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours. Le Service de la population et le Tribunal cantonal ont renoncé à dé-poser des observations sur recours. A._ a renoncé à déposer des contre-observations. 