ホワイト・ハウスと一般に呼ばれるようになったのはその白塗りの外観による。1798年に外壁ができた時に凍結防止のために石灰を含んだ水漆喰が塗布されたことが始まりである。大統領官邸が「ホワイト・ハウス」と呼ばれた初出は、1810年11月22日のボルティモア・ホイッグ紙であり、ホワイト・ハウスが公式名称として採用されたのはさらに後の1901年のことである。1812年戦争の戦火にあって修復後に白く塗ったのでホワイト・ハウスと呼ばれるようになったという説もあるが、上述の通り、その前から大統領官邸はホワイト・ハウスと呼ばれていた。