Faits: A. En 2008, A._ détenait 50 % des actions des sociétés B._ SA et C._ SA. Par décision du 20 octobre 2010 en matière d'impôt cantonal et communal pour la période fiscale 2008, l'Administration fiscale cantonale a taxé A._ sur un revenu de 120'190 fr. et une fortune nette de 9'760'118 fr. L'impôt sur le revenu s'élevait à 26'351 fr. 80 et l'impôt sur la fortune à 93'265 fr. 50, soit un total de 119'617 fr. 30. Elle a retenu que la fortune brute de l'intéressé se montait à 11'313'673 fr. compte tenu d'une valeur des actions de B._ SA (anciennement E._ SA) fixée à 76'748 fr. par action (9'593'500 fr. au total) et d'une valeur des actions de C._ SA fixée à 9'278 fr. par action (463'900 fr.- au total). Elle a également retenu que le rendement brut de la fortune privée se montait à 27'162 fr. et après déductions, que le rendement net négatif de la fortune privée était de 22'637 fr. Les autre revenus de l'intéressé s'élevaient à 142'827 fr. Le 1er novembre 2010, A._ a déposé une réclamation contre la taxation du 20 octobre 2010. Il s'est plaint de ce qu'il subissait une imposition confiscatoire puisque son revenu net, après paiement des impôts, était négatif. La réclamation a été rejetée par décision du 22 septembre 2011. Le 4 octobre 2011, l'intéressé a recouru contre cette décision auprès du Tribunal administratif de première instance en invoquant le caractère confiscatoire de l'imposition 2008 et demandant que les dispositions sur le bouclier fiscal lui soient appliquées. Le 5 mars 2012, sur demande du Tribunal administratif de première instance, l'Administration fiscale cantonale a produit les bordereaux et avis de taxation d'impôt cantonal et communal des années 2006 et 2007 du contribuable. Par jugement du 25 juin 2012, notifié le 2 juillet à l'Administration fiscale cantonale et le 6 juillet à A._, le Tribunal administratif de première instance a admis le recours et renvoyé le dossier à l'Administration fiscale cantonale pour nouvelle taxation. Le 25 juillet 2012, l'Administration fiscale cantonale a interjeté recours auprès de la Cour de justice contre le jugement du 25 juin 2012, en concluant à son annulation et à la confirmation de sa décision sur réclamation du 22 septembre 2011. A._ a conclu au rejet du recours. Il a notamment exposé que la situation de son frère, D._, l'autre actionnaire des sociétés en cause, était identique à la sienne mais que l'Administration fiscale cantonale avait décidé le 29 juin 2012 de rectifier la taxation de ce dernier dans le sens de ses conclusions pour les périodes fiscales 2008 et 2009 avant d'obtenir le jugement du Tribunal administratif de première instance du 25 juin 2012. B. Par arrêt du 3 septembre 2013, la Cour de justice du canton de Genève a admis le recours et rétabli le la décision sur réclamation du 22 septembre 2011. La fortune du contribuable avait un rendement négatif, lié notamment à l'absence de dividendes versés par les sociétés bénéficiaires, dont il était actionnaire à hauteur de 50 % et dont son frère était actionnaire à 50 %. En outre, le contribuable avait des dettes envers ces sociétés qui l'obligeaient à verser des intérêts, diminuant d'autant ses propres revenus. En conséquence, en raison de l'organisation voulue par le contribuable, même si la charge fiscale dépassait son revenu pour une certaine période, elle ne pouvait être qualifiée de confiscatoire. C. Par mémoire du 11 octobre 2013, A._ dépose un recours contre l'arrêt de la Cour de justice du canton de Genève du 3 septembre 2013. Il demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 3 septembre 2013 et de confirmer le jugement du Tribunal administratif de première instance du 25 juin 2012. Il se plaint de déni de justice, de la violation du droit à l'égalité et de l'interdiction de l'imposition confiscatoire. La Cour de justice s'en tient aux considérants de l'arrêt attaqué. L'Administration fiscale cantonale conclut au rejet du recours. L'Administration fédérale des contributions a renoncé à déposer des observations. A._ a répliqué. 