Philmont var tidligere kendt som "Factory Hill" ("Fabrikhøj" på dansk), på grund af en række af uldfabrikker. Landsbyen var indarbejdet i 1891. Navnet "Philmont" kommer fra George P. Philip, der byggede et reservoir til at lave vand til hans mølle i området.  Geografi Philmont har et areal på 3.18 km².