Kasteel Ampsen wordt al in het jaar 1105 genoemd als ‘Ulricus de Amsene’. Nadat het goed (dat ooit uit een ouden-Ampsen en een nieuwen-Ampsen bestaat is overgegaan in verschillende handen, werden beide huizen Ampsen in de Spaanse tijd verwoest door de Spanjaarden in 1605. Gerrit Jan van Nagell heeft waarschijnlijk het huidige huis ergens in de eerste helft van de 17e eeuw laten bouwen. Aan de rechterkant van het L-vormige gebouw werd een nieuwe vleugel aangebouwd, zodat een U-vorm ontstond. De kasteelgracht rondom het huis werd gedempt. Het is echter niet bekend of hij daarvoor een geheel nieuwe plek heeft uitgezocht. Bij de plek waar eens Ouden-Ampsen stond, staat vandaag een boerderij met die naam en een deels omgracht burchteiland, maar tussen deze boerderij en het huidige kasteel staat weer een boerderij Nieuwen-Ampsen. Het kasteel en landgoed is vandaag de dag nog steeds particulier bezit.
jhr. mr. Rudolph Everhard Willem van Weede, heer van de beide Ampsen (1931-2014), zoon van volgende.
