Faits: A. A._, né en Russie le 6 octobre 1977, est arrivé avec ses parents et son frère B._ à Genève en 1990. Il s'est marié une première fois en 2000 et a divorcé en 2004. Le couple a eu un enfant, C._, né le 7 décembre 1999. A._ s'est remarié en 2006 et vit actuellement séparé de sa seconde épouse. Le 14 décembre 2003, la mère de A._, D._, a tué son mari d'une soixantaine de coups de couteau. A._ a été très affecté par ce décès. Depuis lors, il a cessé toute activité professionnelle. B. Par courrier du 6 août 2008, B._ a fait part au Tribunal tutélaire du canton de Genève de ses inquiétudes concernant la situation de son frère aîné. L'expertise ordonnée par le Tribunal tutélaire a permis d'établir que A._ n'est pas capable de gérer ses affaires en raison de troubles mentaux, de troubles du comportement et d'une polytoxicomanie. Il ressort du rapport d'expertise judiciaire du 13 novembre 2009 qu'il représente une menace pour sa propre sécurité et celle de son entourage. En cours de procédure, le Tribunal tutélaire a aussi constaté que les dépenses de A._ n'étaient pas adaptées à ses ressources financières, provenant uniquement de l'héritage de son père. Par ordonnance du 19 février 2009, le Tribunal tutélaire a bloqué sa part successorale auprès d'un notaire et A._ ne peut plus en disposer qu'avec l'accord du Tribunal tutélaire. C. Par décision du 19 mars 2010, le Tribunal tutélaire a prononcé l'interdiction civile de A._ en application de l'art. 369 CC et désigné l'avocate Françoise Dorsaz en qualité de tutrice. L'appel interjeté par A._ contre cette décision a été rejeté le 19 novembre 2010 par la Chambre civile de la Cour de justice du canton de Genève. D. Par acte du 10 janvier 2011, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut, principalement, à ce que l'arrêt entrepris soit annulé et à ce qu'aucune mesure tutélaire ne soit prononcée à son encontre. Subsidiairement, il demande le prononcé d'une mesure de curatelle ou le renvoi de la cause à la dernière autorité cantonale. Plus subsidiairement encore, il conclut à la désignation de l'avocat Philippe Girod en qualité de tuteur ou le renvoi de la cause à l'autorité de dernière instance cantonale. Invités à se déterminer, B._ conclut au rejet du recours et l'autorité cantonale se réfère aux considérants de son arrêt. E. Par ordonnance du 27 janvier 2011, la Présidente de la IIe Cour de droit civil du Tribunal fédéral a refusé l'effet suspensif au recours. 