Schon 1616 ist der damalige Burgbesitzer Johann von Virmond unter dem Einfluss seines Jesuiten-Hauslehrers vom reformierten zum katholischen Glauben übergetreten - er hatte einen guten "Riecher" für die politische Großwetterlage. Vom Kölner Kurfürsten wird er zum Obristen ernannt, stellt eigene Reiterregimenter auf, erhält dafür hohe Vergütungen von seinem Landesherrn. Auf seinen Feldzügen erpresst er von der Bevölkerung die üblichen Kriegsabgaben. Seine Nachkommen halten es ähnlich. So häuft sich ein ansehnliches Vermögen aus Kriegsgewinnen an.

1621 wird Johann von Virmond zum Freiherrn ernannt. - Noch acht Jahre vorher war er so knapp bei Kasse gewesen, dass er seinen Besitz "aus besonderer Notlage" mit hohen Schulden belastet hatte.

Aber jetzt wird geklotzt. Acht Jahre dauert der aufwändige Umbau von der Burg zum Schloss. Zwischen 1661 und 1669 wird die alte Wehranlage niedergelegt, und der Mittelbau der Burg - das alte Herrenhaus - bekommt einen neuen Flügel und vier Ecktürme, dazu einen zweiten, zum Westen hin gelegenen Gebäudeflügel. Der Ostflügel wird verlängert. Hinzu kommen Abschlussmauern, Schornsteine, Brückenpfeiler und Kellergewölbe. Fast zwei Millionen Ziegelsteine werden vermauert; die Baukosten betragen 18 139 Reichstaler.

Zum Vergleich: Ein gut genährtes Kalb kostete damals einen Reichstaler. So entsteht Schloss Neersen in seiner uns heute noch bekannten Gestalt: Aus der klobigen Burg erwächst ein komfortables Wohngebäude, im Großen und Ganzen zwar schmucklos, aber hier und da doch mit Anklängen an die regierende Epoche des Barock.