Faits: A. H._, médecin généraliste, exploite un cabinet à Y._. A partir du 1er juin 1993, il a assuré ses employées pour la prévoyance professionnelle auprès de la Fondation collective LPP de la Rentenanstalt [aujourd'hui : Fondation collective LPP Swiss Life] (ci-après : la Fondation). Dans le courant de l'année 2003, H._, qui avait toujours payé régulièrement les primes réclamées par la Fondation, a contesté la base de calcul de celles-ci, en demandant que la totalité du montant de coordination soit déduite du salaire assuré de ses employées quel que soit leur taux d'occupation. La Fondation a accepté de calculer les primes sur cette base à partir du 1er janvier 2003, mais a refusé de recalculer les primes échues et payées pour les années antérieures. H._ a actionné la Fondation devant la Cour des assurances sociales du Tribunal administratif du canton de Fribourg (aujourd'hui : Cour des assurances sociales du Tribunal cantonal du canton de Fribourg), qui, par jugement du 19 octobre 2006, a rejeté l'action. Après avoir admis que c'était à tort que la Fondation avait calculé les primes en tenant compte d'un montant de coordination proportionnel au taux d'activité, elle a débouté H._ de ses conclusions, estimant que ses prétentions étaient prescrites. Celui-ci a interjeté un recours de droit administratif contre ce jugement, dont il a demandé l'annulation, contestant que la prescription ait été acquise. Par arrêt du 11 juin 2007, le Tribunal fédéral a admis le recours, annulé le jugement cantonal et renvoyé la cause à la juridiction cantonale pour compléments d'instruction et nouveau jugement. Il a en particulier reconnu que c'était à juste titre que la juridiction cantonale avait admis que le calcul des primes devait être fait en tenant compte de la totalité du montant de coordination sans égard au taux d'occupation. Il a également confirmé que la restitution des cotisations éventuellement payées en trop devait être demandée sur la base de l'enrichissement illégitime. Appréciant les conditions de celui-ci, le Tribunal fédéral a retenu que H._ avait payé une partie des cotisations par erreur et qu'il pouvait donc en demander la restitution. Enfin, l'autorité de céans a constaté que les éléments du dossier ne permettaient pas de déterminer le point de départ de la prescription, raison pour laquelle il a retourné la cause à la juridiction cantonale. B. Reprenant l'instruction de l'affaire, l'autorité précédente a demandé la production des décomptes de primes de 1993 à 2002. Par jugement du 17 mars 2011, elle a constaté que les éventuelles différences de primes concernaient trois employées, à savoir A._, B._ et C._. Après calcul, elle a fixé les cotisations versées en trop à 4'646 fr. 50 pour A._, à 297 fr. pour C._ et à 875 fr. 90 pour B._, soit au total 5'819 fr. 40. Elle a admis que le délai d'un an pour faire valoir ses prétentions n'était pas échu lorsque H._ avait introduit son action en justice, si bien que la prescription n'était pas acquise. Enfin, elle a retenu que les trois collaboratrices concernées avaient obtenu le versement de leur prestation de libre passage en 1999 pour B._ et en 2002 pour les deux autres. Partant de ce constat, elle a rejeté la demande de H._ estimant que la Fondation n'était plus enrichie au moment de la répétition et qu'elle ne s'était pas dessaisie de ces montants de mauvaise foi. En conséquence, l'objection d'absence d'enrichissement au moment de la répétition était recevable, ce qui excluait une restitution en application de l'art. 64 CO. C. H._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à ce qu'il soit réformé en ce sens que la Fondation est condamnée à lui verser un montant de 5'819 fr. 40. La Fondation collective LPP Swiss Life conclut à ce que le jugement cantonal soit confirmé. L'Office fédéral des assurances sociales a renoncé à se déterminer. 