Die Geschichte des Städtchen Clerf ist nicht von der seines Schlosses zu trennen, das prächtig auf einem Felsvorsprung namens "Lay" steht, der hufeisenförmig von den Häusern des Marktfleckens umgeben ist. Der älteste Teil ist der Flügel, der von den ersten Wohnräumen umgeben ist, die auf die Initiative von Graf Gérard de Sponheim, Bruder des Grafen Vianden, auf das 12. Jahrhundert zurückgehen. Zu Beginn des 15. Jahrhunderts nahm die bebaute Fläche unter dem Einfluss des mächtigen Hauses Brandenburg erheblich zu. Zum Schutz der Südflanke ließ Friedrich I. dort den gewaltigen Burgunderturm errichten, der auch das Gefängnis beherbergte.

Etwas später erscheinen an derselben Südflanke größere Wohnräume und Keller, vor allem aber im ersten Burghof der Hexenturm, um die Verteidigung der Festung zu gewährleisten. 1634 leistete sich Claude De Lannoy den Luxus, im nördlichen Teil die heruntergekommenen Wohngebäude und Stallungen durch großzügige Empfangsräume, insbesondere den Rittersaal, im spanisch-flämischen Stil zu ersetzen.

Ein Vierteljahrhundert später wurde der erste Hof auf Betreiben von Albert Eugène De Lannoy mit Verwaltungsgebäuden, Ställen und Scheunen angereichert, wodurch eine örtliche Kirche eliminiert wurde. 1671 wurde eine Hausmeisterwohnung eingerichtet, die heute dem Café-Restaurant du Vieux Château gewichen ist. 1721 wurden links vom Hexenturm neue Stallungen errichtet. 1887 wurden die Gebäude von Albert Eugène De Lannoy abgerissen und die geborgenen Steine ​​für den Bau eines modernen Herrenhauses für den Grafen von Berlaymont im gegenüberliegenden Park verwendet.

In den Jahren 1927-1930 ging das alte Schloss in Privatbesitz über und steht seit 1935 auf der Liste der als nationale Denkmäler eingestuften Gebäude und Objekte. Die Ardennenschlacht im Winter 1944-1945 verwandelte es in eine beklagenswerte Ruine, die vom luxemburgischen Staat erworben und anschließend hervorragend restauriert wurde.