Laikā, kad Baltais nams tika uzbūvēts, proti, 1800. gadā, tā bija lielākā ēka valstī, un ne velti to dēvēja par Prezidentu namu. Tomēr arī šī prominentā celtne cieta no ugunsgrēka postījumiem - 1812. gadā ASV norisinājās  britu-amerikāņu karš, kurā cieta arī prezidenta mājvieta - 1814. gadā Baltais nams un citas Vašingtonas ēkas tika teju pilnībā nodedzinātas. Pēc trīs gadiem Balto namu atjaunoja, taču pēc šīs pārbūves ēkas izskats mainījies krustu šķērsu - tā piedzīvojusi dažādas piebūves, uzlabojumus un restaurācijas.