Името „Белия дом“ не се е появило веднага. То е дадено от Теодор Рузвелт. Всички го харесали и така останало.

До тогава зданието се е наричало Президентски дом или Президентски замък.

Архитектурен дизайн има ирландски корени.

От историята на строителството на Белия дом знаем, че при изграждането му са участвали представители на различни страни: от шотландските благородници до африканските роби.

Главният архитект Джеймс Хобан е ирландец по произход. Той е взел за основа на правителствената сграда георгианския стил, взаимстван от Ирландия и по който било построено зданието Leinster House в Дъблин. Следователно Белият дом има свой прародител – двойник.

Белият дом е построен по времето на Джордж Вашингтон, който никога не е живял там. Инициатор на строителството на първото голямо съоръжение, до Гражданската война, бил именно Вашингтон. Той е избрал място и е приел проект за строеж, но в продължение на 8 години, докато строителството е продължавало, той не живее там.

Първият „жител“ на новото здание е бил Джонс Адамс, вторият президент на Америка.