In de 17de eeuw heeft op deze plek een stenen huisje gestaan voor de militaire commandeur.
In de loop van de tijd is het huis vergroot en zijn er twee verdiepingen en een balkon bijgebouwd. In het fronton van het gebouw is het wapen van ons land aangebracht. Lang geleden was daar het wapen van de stad Amsterdam. Gedurende vele jaren was het paleis de ambtswoning van de gouverneurs. Vanaf 1975 heet het gebouw het Presidentieel paleis en worden er hoge gasten ontvangen.