Det idag så kallade Gamla Huset tillhör den äldsta bebyggelsen på Waldemarsudde. Huset fick sitt nuvarande utseende under 1780-talet, när Waldemarsuddes dåvarande ägare Carl Magnus Fris lät bygga till den äldre knuttimrade parstugan som antas ha legat på denna plats. Huset är vinkelbyggt i två våningar, mörkgult till färgen och har ett brutet tegeltak. Detta trähus tjänade som sommarbostad åt Carl Magnus Fris och senare under 1800-talet åt den nye ägaren, familjen Johan Bergman Olsson.

På 1880-talet då denna bild togs bodde här familjen Bergman Olssons arvingar, av vilka prins Eugen hyrde ett rum första gången hösten 1892. Första gången prinsen nämner Waldemarsudde är i ett brev som skrevs till väninnan Helena Nyblom i november 1892:
"Jag var hela dagen ute på Djurgården där jag skall försöka tillfälligt etablera mig och möjligen göra något annat än att sitta och fånstirra, vilket egentligen är min enda sysselsättning här uppe på min atelier. Det är mycket vackert därute borta vid Waldemarsudde, och finge jag bara några vackra dagar med guldskimrande aftonljus kanske jag kunde göra något hyggligt."


Prins Eugen, Från balkongen, 1902

Efter förvärvet av egendomen Waldemarsudde 1899 disponerade prins Eugen hela huset i väntan på att slottet skulle bli färdigbyggt.

Efter en genomgripande renovering invigdes Gamla Huset 1965 som museum, och lagom till år 1998, då Waldemarsudde firade sitt 50-årsjubileum som offentligt museum, renoverades huset på nytt och väggarnas originalfärger togs fram.