Faits: A. A.a Depuis 1980, B._, né en 1959, exploite en raison individuelle une entreprise d'exploitation forestière et de compostage. Le 6 janvier 1995, il a été victime d'un accident: alors qu'il dévissait un boulon, il a reçu une clef dans son oeil gauche, ce qui a entraîné une déchirure choroïdienne du pôle postérieur et une incapacité de travail du 6 janvier au 9 février 1995. Le 14 mars 1997, B._ a déposé une demande de prestations de l'assurance-invalidité que l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a rejetée par décision du 13 juillet 1998. Sur recours successifs de l'assuré (cf. jugement du Tribunal administratif du canton de Fribourg du 6 avril 2000), cette décision a été annulée le 28 mars 2001 par le Tribunal fédéral des assurances, qui a renvoyé la cause à l'office AI pour qu'il complète l'instruction, puis rende une nouvelle décision sur le droit de l'assuré à une aide au capital, le cas échéant sur la nature et les modalités d'une telle aide, puis, ceci fait, examine le droit éventuel à une rente d'invalidité. A.b Reprenant l'instruction du cas, l'office AI s'est entretenu avec l'assuré et lui a demandé de produire des pièces comptables relatives à son entreprise. Après que B._ a retiré sa requête en vue d'une aide en capital, l'office AI l'a mis au bénéfice d'un quart de rente d'invalidité du 1er mars 1996 au 31 décembre 1998 (décision du 20 février 2004). Sur opposition de l'assuré, il a annulé ce prononcé le 12 mai 2005 et continué l'instruction de la cause. Le 12 avril 2006, l'office AI a reconnu le droit de B._ à un quart de rente d'invalidité, fondé sur un degré d'invalidité de 41%, à partir du 1er janvier 2001. L'assuré ayant contesté cette décision, l'administration l'a confirmée par décision sur opposition du 6 novembre 2008. B. B._ a déféré cette décision à la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg, en concluant à l'octroi d'une demi-rente d'invalidité. En cours de procédure, il a indiqué avoir subi un accident de travail le 6 août 2006 qui avait laissé des séquelles le limitant dans son activité professionnelle et produit des certificats médicaux. Le 30 novembre 2010, la Cour des assurances sociales du Tribunal cantonal fribourgeois a demandé à l'assuré de lui faire parvenir les bilans de l'entreprise relatifs aux exercices 1988 à 1991 et de se prononcer sur la nature de prélèvements privés opérés sur le bénéfice de l'exploitation de l'entreprise depuis 1992. Par courrier du 13 décembre 2010, B._ a indiqué ne plus disposer des bilans d'entreprise des années 1988 et 1989, voire 1990. Statuant le 21 décembre 2010, la juridiction cantonale a débouté l'assuré. C. B._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'octroi d'une demi-rente d'invalidité et, subsidiairement, au renvoi de la cause à l'autorité cantonale de recours pour instruction complémentaire sur l'aggravation de son état de santé à la suite de "l'accident de 2006". La Cour des assurances sociales du Tribunal cantonal fribourgeois s'est déterminée sur sa composition dans cette affaire. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales n'a pas déposé d'observations. 