Faits: Faits: A. X._, né en 1969, était domicilié dans le canton de Neuchâtel à la fin 2001. Le Service des contributions de ce canton (ci-après: le Service des contributions) lui a envoyé le 21 juin 2002 une sommation l'invitant à déposer sa déclaration d'impôt 2001 jusqu'au 12 juillet 2002. Ne l'ayant pas reçue, ledit Service a procédé à une taxation d'office pour les impôts fédéral, cantonal et communal de la période fiscale 2001, qui a été expédiée à X._ le 13 décembre 2002. Le revenu imposable pour l'impôt fédéral direct a été estimé à 56'600 fr. ce qui donnait un impôt dû de 1'048 fr. 90 y compris une amende de 300 fr. pour l'omission du dépôt de la déclaration d'impôt. Sur le plan cantonal et communal, le revenu imposable a été arrêté à 56'100 fr. et la fortune à 0 fr. L'impôt total se montait à 11'655 fr. 15 (impôt cantonal de 5'879 fr. et impôt communal de 5'776 fr. 15) y compris une amende d'ordre et des frais de 350 fr. Le 27 décembre 2002, deux bordereaux mentionnant "taxation ordinaire selon notification du 13/12/2002" ont été notifiés à l'intéressé pour les montants d'impôts susmentionnés dont celui-ci s'est acquitté. A. X._, né en 1969, était domicilié dans le canton de Neuchâtel à la fin 2001. Le Service des contributions de ce canton (ci-après: le Service des contributions) lui a envoyé le 21 juin 2002 une sommation l'invitant à déposer sa déclaration d'impôt 2001 jusqu'au 12 juillet 2002. Ne l'ayant pas reçue, ledit Service a procédé à une taxation d'office pour les impôts fédéral, cantonal et communal de la période fiscale 2001, qui a été expédiée à X._ le 13 décembre 2002. Le revenu imposable pour l'impôt fédéral direct a été estimé à 56'600 fr. ce qui donnait un impôt dû de 1'048 fr. 90 y compris une amende de 300 fr. pour l'omission du dépôt de la déclaration d'impôt. Sur le plan cantonal et communal, le revenu imposable a été arrêté à 56'100 fr. et la fortune à 0 fr. L'impôt total se montait à 11'655 fr. 15 (impôt cantonal de 5'879 fr. et impôt communal de 5'776 fr. 15) y compris une amende d'ordre et des frais de 350 fr. Le 27 décembre 2002, deux bordereaux mentionnant "taxation ordinaire selon notification du 13/12/2002" ont été notifiés à l'intéressé pour les montants d'impôts susmentionnés dont celui-ci s'est acquitté. B. A la suite d'un contrôle fiscal, le Service des contributions a obtenu le certificat de salaire 2001 de X._ - lequel mentionnait un revenu net de 136'924 fr. - et s'est rendu compte que les montants retenus dans les taxations d'office étaient nettement inférieurs au revenu effectivement perçu. Il en a informé X._ par courrier du 14 avril 2003 lui demandant des explications. Le 30 juin 2003, une procédure en soustraction des impôts fédéral direct, cantonal et communal de la période fiscale 2001 a été ouverte à son égard. Le Service des contributions a rendu deux décisions le 17 septembre 2003: le rappel relatif à l'impôt fédéral direct était fixé à 3'109 fr. et une amende également de 3'109 fr. était prononcée, le revenu imposable initialement fixé à 56'600 fr. étant arrêté à 103'900 fr. Le rappel pour l'impôt cantonal se montait à 7'226 fr. et l'amende au même montant, le revenu imposable étant fixé à 103'000 fr. au lieu de 56'100 fr. Par décision du 8 mars 2004, le Service des contributions a rejeté la réclamation de X._. Par décision du 8 mars 2004, le Service des contributions a rejeté la réclamation de X._. C. Le 23 décembre 2004, le Tribunal fiscal du canton de Neuchâtel (ci-après: le Tribunal fiscal) a déclaré le recours relatif à l'impôt fédéral direct 2001 irrecevable car tardif. Il a admis le recours en ce sens que l'amende, pour les impôts cantonal et communal de la période fiscale 2001, était annulée, la décision sur réclamation du 8 mars 2004 étant modifiée sur ce point, mais l'a rejeté quant au rappel relatif auxdits impôts. Le Service des contributions a recouru auprès du Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal administratif) lequel a admis le recours par arrêt du 3 mai 2005. Il a en substance estimé que les éléments objectif et subjectif de la soustraction étaient réalisés et qu'ainsi l'amende était justifiée. Le Service des contributions a recouru auprès du Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal administratif) lequel a admis le recours par arrêt du 3 mai 2005. Il a en substance estimé que les éléments objectif et subjectif de la soustraction étaient réalisés et qu'ainsi l'amende était justifiée. D. Agissant par la voie du recours de droit administratif, X._ conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal administratif du 3 mai 2005. Il invoque une mauvaise qualification des faits et estime que les conditions de la soustraction fiscale ne sont pas remplies. Le Tribunal fiscal se réfère aux considérants de son arrêt et conclut à l'admission du recours. Le Tribunal administratif renvoie à son arrêt et conclut au rejet du recours. L'Administration fédérale des contributions conclut également au rejet du recours. Le Service des contributions n'a pas déposé d'observations. 