Het kasteel Ter Elst gaat terug tot de 15de eeuw en werd in 1914 grotendeels verwoest. De gemeente Duffel kocht de overgebleven ruïne in 1972, liet ze beschermen en deels restaureren. Nadien werd de ruïne gebruikt als decor voor socio-culturele evenementen. Vanwege de bouwvallige toestand van de ruïne is dit gebruik vanaf 2012 sterk teruggeschroefd en blijft de site onderbenut. Om verder verval te voorkomen is in 2019, in afwachting van een grondige restauratie, het hoofdvolume van de ruïne alvast gestut.
Vorig jaar nam Kempens Landschap het beheer van de kasteelruïne over van de gemeente Duffel om de broodnodige restauratie op gang te trekken. Het Vlaamse agentschap Onroerend Erfgoed maakte van deze nieuwe ontwikkeling gebruik om de bescherming als monument uit 1972 te verruimen naar het ganse kasteeleiland en haar omgeving. Jan De Haes, gedeputeerde van de provincie Antwerpen en covoorzitter van Kempens Landschap: “Het lokaal bestuur wil het kasteeleiland openstellen en opnieuw in gebruik nemen voor socio-culturele evenementen. Vanuit dit bouwprogramma en de daaraan verbonden vereisten qua sanitair, toegankelijkheid etc. maakten we een eerste inschatting van het financiële plaatje. Nu de toekomst van het monument duidelijk is, kunnen we gericht een restauratiearchitect aanstellen.”