Faits: Faits: A. La société X._ Sàrl, spécialisée dans le commerce en gros des fruits et légumes, était affiliée en qualité d'employeur auprès de la Caisse de compensation AVS du commerce de gros et de transit (ci-après : la caisse). Confrontée à des problèmes de liquidités, elle ne s'est plus acquittée du paiement des cotisations paritaires à partir du mois d'avril 2000; l'ouverture de sa faillite a été prononcée avec effet au 27 novembre 2001. Par décisions du 9 octobre 2002, la caisse a réclamé à A._, B._, C._ et D._, en leur qualité d'associés-gérants de la société depuis le 3 avril 2000, le paiement de 160'201 fr. 80 en réparation du dommage résultant du non-paiement par celle-ci, de cotisations paritaires correspondant à la période courant du mois d'avril 2000 au mois d'octobre 2001. Le 26 novembre 2002, elle a notifié une autre décision en réparation du dommage subi à E._, gérant de la société depuis le 14 juillet 1988. Par décisions du 9 octobre 2002, la caisse a réclamé à A._, B._, C._ et D._, en leur qualité d'associés-gérants de la société depuis le 3 avril 2000, le paiement de 160'201 fr. 80 en réparation du dommage résultant du non-paiement par celle-ci, de cotisations paritaires correspondant à la période courant du mois d'avril 2000 au mois d'octobre 2001. Le 26 novembre 2002, elle a notifié une autre décision en réparation du dommage subi à E._, gérant de la société depuis le 14 juillet 1988. B. Les prénommés ayant tous formé opposition, la caisse a ouvert action en mainlevée contre chacun d'eux devant le Tribunal administratif de la République et du canton de Neuchâtel par demandes datées du 2 décembre 2002 et du 27 janvier 2003, en concluant à ce qu'ils soient condamnés solidairement à lui payer les montants réclamés (y compris les frais et les intérêts). Par jugement du 28 janvier 2004, la juridiction cantonale a entièrement admis les prétentions émises par la caisse à l'encontre de A._, B._, C._ et D._. Par contre, elle les a rejetées s'agissant de E._, au motif qu'il n'avait plus été en mesure d'influencer de manière déterminante la gestion de la société à partir du 31 mars 2000 à la suite d'une incapacité totale de travail subie dès ce jour. B. Les prénommés ayant tous formé opposition, la caisse a ouvert action en mainlevée contre chacun d'eux devant le Tribunal administratif de la République et du canton de Neuchâtel par demandes datées du 2 décembre 2002 et du 27 janvier 2003, en concluant à ce qu'ils soient condamnés solidairement à lui payer les montants réclamés (y compris les frais et les intérêts). Par jugement du 28 janvier 2004, la juridiction cantonale a entièrement admis les prétentions émises par la caisse à l'encontre de A._, B._, C._ et D._. Par contre, elle les a rejetées s'agissant de E._, au motif qu'il n'avait plus été en mesure d'influencer de manière déterminante la gestion de la société à partir du 31 mars 2000 à la suite d'une incapacité totale de travail subie dès ce jour. C. A._, B._, C._ et D._ interjettent recours de droit administratif contre ce jugement dont ils requièrent l'annulation, en concluant, sous suite de frais et dépens, principalement à ce que la caisse soit déboutée de toutes ses prétentions, subsidiairement au renvoi de la cause à l'instance précédente pour complément d'instruction et nouveau jugement. La caisse conclut au rejet du recours, tandis que E._, invité à répondre au recours en qualité d'intéressé, et l'Office fédéral des assurances sociales ont renoncé à se déterminer. 