In 1752 werd het kasteel – inmiddels bijna een eeuw in bezit van de familie Van Tuyll van Serooskerken – grootschalig verbouwd door Diederik Jacob van Tuyll van Serooskerken. Architect Jacob Marot werd aangetrokken om het kasteel te moderniseren. De oostelijke weermuur werd gesloopt, er werd een vleugel aangebouwd om een symmetrisch aanzicht te krijgen en er werd een centrale hal aangelegd op de oude binnenplaats. Het kasteel kreeg grote 18e-eeuwse ramen. Om een groot voorplein te realiseren werd een deel van de gracht gedempt. Slot Zuylen kreeg het uiterlijk dat het nu nog steeds heeft.
Sic Semper