First Lady Dolley Madison menyebutnya sebagai Istana Presiden. Bukti pertama publik menyebutnya sebagai Gedung Putih tercatat pada tahun 1811. Pada tahun 1901, Presiden Theodore Roosevelt menjadikan Gedung Putih sebagai nama resminya.