Faits : A. A.a. B.X._, née en 1963, et A.X._, né en 1967, se sont mariés le 15 janvier 1999. Trois enfants sont issus de leur union, à savoir C._, né en 1997, D._, né en 2000, et E._, née en 2002. Les époux vivent séparés depuis le mois de mai 2011. A.b. Le 7 mars 2012, B.X._ a introduit une procédure de mesures protectrices de l'union conjugale. Par jugement de mesures protectrices de l'union conjugale du 4 juin 2013, le Président du Tribunal civil de la Gruyère a notamment confié la garde des enfants à leur mère et condamné A.X._ à verser une contribution d'entretien mensuelle de 1'806 fr. pour chacun de ses deux enfants aînés, respectivement de 1'886 fr. pour sa fille cadette, le tout plus allocations familiales, ainsi qu'une pension alimentaire de 2'910 fr. par mois en faveur de son épouse. B. B.a. Par acte du 1 er juillet 2013, rectifié le 8 juillet 2013, l'épouse a interjeté appel contre le jugement de première instance, concluant à l'augmentation de la pension due en sa faveur à 5'950 fr. par mois de juin 2011 à mars 2013 inclus, puis à 6'260 fr. B.b. Par arrêt du 22 novembre 2013, la I e Cour d'appel civile du Tribunal cantonal du canton de Fribourg a partiellement admis l'appel et a réformé le chiffre 7 de la décision entreprise en ce sens qu'elle a porté la contribution mensuelle due par A.X._ à l'entretien de son épouse à 5'000 fr. C. Par acte du 13 février 2014, A.X._ forme un recours en matière civile au Tribunal fédéral contre cette décision, concluant à la réforme de l'arrêt entrepris en ce sens que le chiffre 7 du dispositif du jugement rendu le 4 juin 2013 par le Président du Tribunal civil de la Gruyère est confirmé dans sa teneur initiale, c'est-à-dire que la contribution mensuelle due à l'entretien de son épouse est maintenue à 2'910 fr. A l'appui de ses conclusions, le recourant invoque essentiellement l'arbitraire dans la constatation des faits et, de manière générale, la violation du droit, sans toutefois préciser quelles seraient les dispositions légales violées. Le recourant avait précédemment, par acte du 20 janvier 2014, sollicité la restitution du délai pour recourir au sens de l'art. 50 al. 1 LTF, soutenant que son confrère alors en charge du dossier avait été empêché sans faute de sa part, pour cause de maladie, de recourir à temps. Par courrier du 22 janvier 2014, le Président de la IIe Cour de droit civil du Tribunal de céans a rappelé au recourant que le recours devait impérativement être introduit dans les 30 jours à compter de celui où l'empêchement avait cessé, sans toutefois se prononcer sur la demande de restitution de délai. L'intimée n'a pas été invitée à répondre. 