Entièrement construit en pierre, sur un large socle taluté, le corps de logis de plan carré est cantonné de quatre pavillons quandrangulaires, fortement saillants, dont les hauts toits sont surmontés de quatre statues symbolisant les quatre vertus cardinales. Les façades latérales sont percées de rares et petites ouvertures, et comportent chacune une loggia permettant l'accès d'un pavillon à l'autre. La sobriété des façades latérales contrastent avec la richesse architecturale des deux autres façades, ornées de sculptures représentant les armoiries des marquis de Bailleul. L'intérieur du château, non ouvert à la visite, contient des détails architecturaux insolites en France, et typique de la Renaissance italienne, avec des plafonds en ogives et d'un escalier à double-révolution.