C'est Paul Robert, fils de Jules, qui acheta le Château des Fagnes à la famille Stavaux (patron de filatures) vers 1800. De la filature Jules Robert, puis Paul Robert, puis Pierre Robert, qui occupait 240 ouvriers en 1886, il ne reste que les montants de la grille d’entrée.
La toiture de la maison du concierge a été remaniée et le château lui-même a subi des transformations, notamment par l’adjonction de deux tourelles.
Au début des années 1960, la ville de Trith-Saint-léger y envoyait des enfants et adolescents en colonie de vacances. Inoccupé pendant quelques années, cette demeure trouva de nouveaux propriétaires en 2006. Restaurée avec goût elle est devenue le Domaine des Fagnes et propose aujourd'hui des chambres d'hôtes.