Faits : A. A._ exploite à B._ une entreprise individuelle inscrite au registre du commerce du canton de Vaud depuis 1994 et dont le but est " boulangerie, pâtisserie et épicerie ". Le magasin de vente se trouve au rez-de-chaussée d'un immeuble; il est pourvu d'une partie arrière et un sous-sol est également consacré à l'exploitation, notamment à la fabrication. Des inspections de ces locaux ont été régulièrement effectuées par un contrôleur cantonal et un inspecteur cantonal des denrées alimentaires, tous deux dépendants du Service de la consommation et des affaires vétérinaires du canton de Vaud (ci-après: le Service de la consommation). Ces inspections ont généralement fait l'objet de rapports comportant à chaque fois quatre rubriques (une relative à l'autocontrôle, une aux produits, une aux procédés et une aux infrastructures) sanctionnées par des notes allant de 1 à 4 (la note 1 étant la meilleure). - Dans un rapport du 2 novembre 2004 établi par un contrôleur cantonal, les rubriques " autocontrôle " et " denrées alimentaires " ont obtenu la note 3 (insuffisant). En particulier, plusieurs denrées avaient largement dépassé la date de durabilité minimale. La rubrique " processus et activité " a été sanctionnée par la note 2 (suffisant). La rubrique " locaux, équipements, appareils (disposition, entretien, état) " s'est vue attribuer la note 4 (mauvais). Le contrôleur relevait qu'à cette époque, l'arrière magasin était désaffecté suite à un incendie survenu en 2002. S'agissant du laboratoire, les carrelages étaient abîmés ou manquants à divers endroits. Toujours dans le laboratoire, les murs et plafonds étaient défraîchis et la peinture, qui était ancienne, s'écaillait. Enfin, les vitres de la fenêtre du laboratoire étaient cassées et avaient été remplacées par des plastiques troués laissant passer les souillures de l'extérieur. Le rapport précisait que l'intéressé avait déclaré que la rénovation de l'arrière magasin serait effectuée, mais avait en revanche refusé d'entreprendre des travaux dans le laboratoire, faute de moyens. Le contrôleur indiquait ainsi qu'une inspection complémentaire serait effectuée par un inspecteur cantonal en vue d'un entretien et d'une décision relative à la continuité de ce commerce. - Suite à une inspection du 16 décembre 2004, l'inspecteur, dans une lettre du 20 décembre 2004 adressée à l'intéressé, a écrit avoir pris acte du fait que celui-ci n'utiliserait plus le sous-sol comme locaux de travail, mais uniquement pour le stockage. Il a en outre fait remarquer que les locaux devraient avoir des affectations définies afin de séparer les denrées alimentaires et produits de base du matériel de l'exploitation et l'outillage ou tout autre matériel sans rapport avec l'exploitation. Il a fait remarquer à l'intéressé que l'aménagement devait être réalisé conformément aux dispositions de l'ordonnance sur l'hygiène et l'a encouragé à mettre rapidement son projet à exécution. - Ensuite d'une inspection effectuée le 20 octobre 2006, la note 3 (défauts majeurs) a sanctionné la rubrique " autocontrôle ". La rubrique " denrées alimentaires " a obtenu la note 2 (défauts mineurs), vu notamment la présence de conserves ayant dépassé la date de garantie depuis 2000 et 2002. La rubrique " processus et activité " a eu la note 3, l'ordre et la propreté laissant à désirer particulièrement au sous-sol. La note 4 (mauvais) a été attribuée aux locaux et équipements. Si la réfection du local derrière le magasin était pratiquement terminée, il manquait encore certains aménagements. En outre, il y avait un trou dans le mur au-dessus du four à bois, les murs étaient dégradés au sous-sol (peinture qui s'écaille, carrelage manquant ou troué) et les vitres du laboratoires, cassées, étaient remplacées par des plastiques souples. L'intéressé a été invité à faire des propositions d'assainissement de ses locaux. - Le 7 octobre 2009, un nouveau rapport d'inspection a été établi. La note 2 (défauts mineurs) a été attribuée aux quatre rubriques. S'agissant des " infrastructures " (ancienne rubrique locaux et équipements), le rapport indiquait que différentes surfaces ne correspondaient pas aux exigences, notamment les surfaces dures, lisses et faciles à nettoyer. Quelques trous étaient visibles sur les murs des laboratoires et certains joints des meubles frigorifiques étaient cassés. Le rapport ajoutait que les faits constatés n'avaient pas donné lieu à contestation. Il était notamment demandé à l'intéressé de corriger les défauts entachant les infrastructures. - Lors d'une inspection le 11 mai 2011, la note 3 (défauts majeurs) a été attribuée à la rubrique " autocontrôle ", ainsi qu'à la rubrique " produits " (ancienne rubrique denrées alimentaires), la limite de consommation étant dépassée sur des jambons entiers (4 et 9 mai). La rubrique " procédé " (ancienne rubrique processus et activité) a obtenu la note 2 (défauts mineurs). Une note 3 (défauts majeurs) a été attribuée aux " infrastructures ", car différentes surfaces ne correspondaient pas aux exigences. En outre, du carrelage était manquant, les angles de quelques murs abîmés et certains de ceux-ci étaient écaillés. La lumière manquait à la cave et dans la chambre de congélation. Finalement, l'écoulement du point de lavage du laboratoire était inadapté (colmatage avec un linge, seau sous le siphon). Il était demandé à l'intéressé de présenter un agenda de mise en conformité des défauts affectant les infrastructures. - Le 5 juillet 2012, une nouvelle inspection du commerce de l'intéressé a eu lieu et une décision a été rendue par le Service de la consommation. Cette décision attribuait la note 2 aux rubriques " autocontrôle ", " produits " et " procédés ", ainsi que la note 3 à la rubrique " infrastructures ". La décision précitée exigeait de l'intéressé qu'il mette en conformité la zone de préparation pâtisserie jusqu'au 31 décembre 2012, la zone gauche du four jusqu'au 31 décembre 2013 et la zone boulangerie jusqu'au 31 décembre 2014. Cette décision est entrée en force. B. Par courrier du 6 janvier 2013, l'intéressé a écrit au Service de la consommation pour lui indiquer qu'il était en train de projeter la construction d'un nouveau local de production. Il lui a ainsi demandé d'accorder un unique délai, au 31 décembre 2014, afin de mettre en conformité son établissement. Par décision du 7 mai 2013, l'inspecteur cantonal du Service de la consommation (ci-après: l'inspecteur cantonal) a maintenu le délai au 31 décembre 2013 pour mettre en conformité la zone gauche du four et celui au 31 décembre 2014 pour mettre en conformité la zone boulangerie. S'agissant de la zone pâtisserie, qui devait être mise en conformité jusqu'au 31 décembre 2012, l'inspecteur a ordonné l'interdiction immédiate d'utiliser ce local pour y effectuer toute activité avec des denrées alimentaires. Sur opposition du 16 mai 2013, le chimiste cantonal du canton de Vaud (ci-après: le chimiste cantonal) a confirmé la décision de l'inspecteur cantonal. Le 23 août 2013, l'intéressé a contesté ce prononcé auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 13 mars 2014, le Tribunal cantonal a rejeté le recours de l'intéressé, dans la mesure de sa recevabilité. Il a déclaré le recours irrecevable en ce qu'il contestait, sur le principe, l'obligation de mise en conformité des zones pâtisserie et gauche du four et a ainsi limité son examen à la question du refus de prolonger les délais de mise en conformité des zones précitées. Dans le cadre de cet examen, le Tribunal cantonal a estimé que les délais fixés par l'inspecteur cantonal et confirmés par le chimiste cantonal étaient proportionnés au regard de l'intérêt public important à l'exécution rapide des mesures de mise en conformité ordonnées de longue date. C. Agissant par la voie du recours en matière de droit public, A._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, principalement de réformer l'arrêt du Tribunal cantonal du 13 mars 2014 en prolongeant au moins jusqu'au 31 décembre 2014 le délai pour mettre en conformité la zone gauche du four et la zone pâtisserie, subsidiairement d'annuler l'arrêt précité et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il invoque en particulier une violation du principe de la proportionnalité et de sa liberté économique. Le Tribunal cantonal conclut au rejet du recours. Le Département fédéral de l'intérieur renonce à prendre position. L'inspecteur cantonal et le chimiste cantonal n'ont pas donné suite au courrier du Tribunal fédéral les invitant à se déterminer. Dans des observations finales, A._ confirme ses conclusions. 