Dalším důkazem, že se jednalo o stavbu těšící se oblibě nejvýše postavených lidí v říši, je schůzka, která se tu v roce 1813 uskutečnila. V Brandýse nad Labem se sešli císař František I. Rakouský, ruský car Alexandr I. a pruský král Fridrich Vilém III., aby zde naplánovali strategii boje proti Napoleonovi. Toto setkání vedlo k – pro spojence vítězné – bitvě u Lipska.
Nejslavnější období Brandýs ale teprve čekalo a byla jím éra zvaná rudolfinská. Císař Rudolf II. si zámek oblíbil natolik, že ho učinil svým hlavní mimopražským sídlem a zval sem uznávané osobnosti z oblasti umění a věd. Jeho pozvání přijal například věhlasný hvězdář Tycho Brahe. Šťastným místem byl Brandýs nad Labem také pro Marii Terezii, která se tu seznámila se svým budoucím chotěm Františkem Štěpánem Lotrinským a odsud vyjela do Prahy ke korunovaci.
Na vzhledu zámku zanechalo svůj otisk více architektonických slohů – prapůvodní gotická tvrz byla přestavěna na pozdně gotický hrad, přeměna na renesanční zámek proběhla v 16. století a na podobě sídla je patrný rovněž vliv baroka. Svůj výjimečný talent tu znovu předvedl i proslulý barokní architekt František Maxmilián Kaňka. Úpravy v duchu romantické novogotiky si vyžádali členové toskánské linie Habsburků, pro něž se stal Brandýs domovem po roce 1860. Posledním habsburským majitelem byl císař Karel I. Rakouský. Panovník sem pozval svoji novomanželku Zitu Bourbon-Parma a pár poté vzpomínal na dny prožité na zdejším panství jako na ty nejšťastnější v jejich společném životě. Po roce 1918 byl zámek poskytnut správě státních lesů, využíván jako kanceláře, dílny, sklady a nájemní byty. Až v roce 1995 převzalo správu město a začala nákladná rekonstrukce.
Zajímavost
Zámecká zahrada byla založena roku 1563 za vlády císaře Ferdinanda I. a do dokonalosti dovedena Rudolfem II. O její pestrosti, bohatosti a nádheře se rozepsal i literát a historik Bohuslav Balbín: „Olivy, palmy, cedry, ovocné stromy všeho druhu, vzácné stromy cizokrajné, trávy, květiny vlašské, asijské i čínské byly zde pečlivě pěstovány prý vlastní rukou císařovou, který sám sázel, plel a zaléval.“