Faits: Faits: A. C._, né en 1954, a travaillé en qualité de machiniste au service de l'entreprise F._. Il a sollicité, le 30 septembre 1996, des prestations de l'assurance-invalidité en raison d'un status post-fracture ouverte de la jambe gauche en 1972 et de lombalgies chroniques sur trouble de la statique associées à des troubles dégénératifs. Cette demande a été rejetée par l'Office AI du canton de Neuchâtel (ci-après: Office AI) par décision du 8 août 1998, au motif que son incapacité de travail ne dépassait pas 20 % en tant que machiniste. Le Tribunal administratif du canton de Neuchâtel a, sur recours, confirmé le bien-fondé de cette décision (jugement du 5 janvier 1999). Bénéficiaire d'indemnités de chômage à partir du 26 novembre 1997, C._ a été affilié à la Fondation institution supplétive LPP (ci-après: la fondation). Dans le cadre du programme pour l'emploi temporaire, il a été engagé à 50 pour cent, par contrat de droit privé, par l'Etat de Neuchâtel du 6 avril au 5 octobre 1999 pour le compte de G._. A ce titre, il a été affilié durant cette période à la Caisse de pensions de l'Etat de Neuchâtel (ci-après la caisse de pensions) en matière de prévoyance professionnelle. Il a perçu des indemnités de chômage jusqu'au 25 mai 1999. A partir du 26 avril 1999, il a présenté une incapacité de travail totale attestée par le docteur H._, spécialiste en maladies rhumatismales, attribuable aux affections somatiques précédentes et à un syndrome somatoforme douloureux (rapport du 2 novembre 1999). Pour sa part, la doctoresse V._, spécialiste en psychiatrie, a retenu une incapacité de travail totale dès le 24 septembre 1999, en raison d'une réaction à un facteur de stress important avec réaction dépressive profonde et d'une personnalité émotionnellement labile (rapports des 22 octobre et 17 novembre 1999). Suite au dépôt par l'assuré (le 9 mars 1999) d'une nouvelle demande de rente d'invalidité, l'Office AI lui a reconnu, le droit à un quart de rente dès le mois de décembre 1999 et à une demi-rente à partir de février 2000 (décision du 2 mars 2000), ainsi qu'à une rente entière dès avril 2000 (décision du 4 avril 2000). L'Office AI a considéré que si l'état de santé physique de l'assuré était resté stable, ce dernier présentait une affection psychique le rendant totalement incapable de travailler. A partir du 26 avril 1999, il a présenté une incapacité de travail totale attestée par le docteur H._, spécialiste en maladies rhumatismales, attribuable aux affections somatiques précédentes et à un syndrome somatoforme douloureux (rapport du 2 novembre 1999). Pour sa part, la doctoresse V._, spécialiste en psychiatrie, a retenu une incapacité de travail totale dès le 24 septembre 1999, en raison d'une réaction à un facteur de stress important avec réaction dépressive profonde et d'une personnalité émotionnellement labile (rapports des 22 octobre et 17 novembre 1999). Suite au dépôt par l'assuré (le 9 mars 1999) d'une nouvelle demande de rente d'invalidité, l'Office AI lui a reconnu, le droit à un quart de rente dès le mois de décembre 1999 et à une demi-rente à partir de février 2000 (décision du 2 mars 2000), ainsi qu'à une rente entière dès avril 2000 (décision du 4 avril 2000). L'Office AI a considéré que si l'état de santé physique de l'assuré était resté stable, ce dernier présentait une affection psychique le rendant totalement incapable de travailler. B. Après avoir requis, sans succès, l'octroi d'une rente d'invalidité de la caisse de pensions et de la fondation, C._ a ouvert action devant le Tribunal administratif, en concluant à la condamnation de l'une et l'autre de ces institutions au paiement d'une rente entière d'invalidité, dont le montant est à déterminer, dès l'échéance du délai de carence, avec intérêts à 5 % à compter du dépôt de la demande, sous suite de dépens. Par jugement du 23 septembre 2003, la juridiction cantonale a statué ce qui suit: «1. Rejette la demande dirigée contre la Fondation institution supplétive LPP. 2. Admet la demande dirigée contre la Caisse de pensions de l'Etat de Neuchâtel en ce sens qu'il est constaté que celle-ci doit verser à C._ une pension d'invalidité d'un montant et à partir de la date qu'il lui appartiendra de déterminer. 3. Statue sans frais. 4. Alloue à C._ une indemnité de 800 fr., à charge de la caisse de pensions». 4. Alloue à C._ une indemnité de 800 fr., à charge de la caisse de pensions». C. C._ interjette recours de droit administratif contre ce jugement en concluant, sous suite de frais et dépens, à ce qu'il plaise au Tribunal fédéral des assurances, principalement, de «casser la décision dont est recours en son chiffre 1 et 4 en ce qu'elle rejette la demande dirigée contre la Fondation institution supplétive LPP et n'octroie pas de dépens au recourant à charge de cette Fondation» et, subsidiairement, de renvoyer la cause à l'autorité inférieure pour complément d'instruction au sens des considérants. Dans sa réponse du 12 novembre 2003, la fondation conclut au rejet du recours en exposant, notamment, que dès l'instant où l'assuré n'a pas recouru contre la décision de l'office AI fixant le début de l'incapacité totale au 24 septembre 1999, cette date est également déterminante pour situer le début de son incapacité de travail dans le cadre de la prévoyance professionnelle. Or, à cette époque, C._ était employé de l'Etat de Neuchâtel, de sorte qu'il appartient à la caisse de pensions du personnel de l'Etat de Neuchâtel de prendre en charge les prestations d'invalidité que le prénommé peut prétendre. Par écriture du 6 janvier 2004, la caisse de pensions déclare confirmer, sans autres commentaires, la position qu'elle avait défendue devant le Tribunal administratif. L'Office fédéral des assurances sociales a déclaré qu'il renonçait à se déterminer dès lors que le litige porte sur l'appréciation des faits et non sur une question de droit. 