Faits: A. A.a. Le 18 décembre 2003, l'Office des poursuites du Jura Bernois-Seeland a, à la requête de B._, notifié un commandement de payer un montant de xxxx fr. avec intérêts à 5% l'an dès le 24 juin 2003, dans la poursuite n° xxxx, à A._ en mains de sa fille, ce dernier étant à cette époque incarcéré. A.b. Le poursuivi ayant ensuite déplacé son domicile dans le canton de Neuchâtel, l'office des poursuites de ce canton a continué la procédure suite à la réquisition de continuer la poursuite émanant du créancier B._; le 11 janvier 2005, il a invité le débiteur à une saisie fixée au 25 janvier 2005, a exécuté la saisie en présence du débiteur, qui a signé le procès-verbal de saisie le 2 mars 2005, et a délivré au créancier un acte de défaut de biens faute de biens saisissables le 21 mars 2005. A.c. Par décision du 3 juin 2013, l'autorité inférieure de surveillance des offices des poursuites et des faillites du canton de Neuchâtel (ci-après: autorité inférieure) a déclaré irrecevable la plainte interjetée par A._ en tant qu'elle tend à faire prononcer la nullité du commandement de payer notifié le 18 décembre 2003 par l'Office des poursuites du Jura Bernois-Seeland dans la poursuite n° xxxx et l'a rejetée pour le surplus. B. Par arrêt du 25 novembre 2013, l'autorité supérieure de surveillance en matière de poursuites et faillites (ci-après: autorité supérieure) a rejeté le recours interjeté par A._ contre cette décision. C. Par acte du 2 décembre 2013, A._ interjette un recours contre l'arrêt du 25 novembre 2013. Il conclut principalement à ce que sa plainte ainsi que le recours subséquent soient déclarés recevables, à ce que la nullité de la saisie, de son exécution et des actes de défaut de biens émis dans le cadre de cette poursuite soit constatée et à ce que la procédure soit "ramenée au stade du commandement de payer original bernois". A l'appui de ses conclusions, le recourant se plaint d'une violation des art. 22, 60, 79 et 81 al. 2 de la version de la LP antérieure au 1er janvier 2011, du moins s'agissant de ces deux dernières dispositions, les deux premières n'ayant subi aucune modification. Des réponses n'ont pas été requises. 