Alla morte del Ruspini, nessun erede era presente e la meravigliosa villa - castello divenne di proprietà della sua governante. In seguito Villa Castel D’Ardona passò al "Gruppo Aziendale Tintoria Comense" che eresse il sottostante fabbricato per ospitare nelle vacanze i figli dei dipendenti. Il castello, che un tempo era ben visibile dal paese e dal lago sottostante, oggi è diroccato e invaso dalla vegetazione. Stessa sorte è toccata al fabbricato limitrofo.