La perdita delle tubature fece soccombere all’inizio del ‘900 l’ultimo piano della casa per poi danneggiarla sempre più sino all’abbandono.La villa ebbe anche i suoi momenti di gloria, come quando nel 1860, al termine della battaglia di Magenta, fu organizzata proprio dal conte una solenne cerimonia per festeggiare la caduta degli austriaci.
In quest’occasione dal conte fu donata una bandiera di seta con ornamenti d’oro che fu benedetta nel parco antistante alla villa al cospetto di numerose guardie nazionali e civili.
Il conte morì due anni dopo a soli quarantasei anni lasciando la villa nelle mani del fratello Biagio, poiché non aveva figli od altri eredi; il fratello vi dimorò solo per qualche anno, dopodiché la abbandonò e la manutenzione fu effettuata dalla famiglia di custodi per molto tempo.
Nei pressi della suddetta villa c’è anche la vecchia dimora dei custodi, vale a dire la vecchia residenza della famiglia Negri; la casa fu costruita in un secondo momento con meno cura e stile della precedente. Assieme a quest’altra casa vi è un'altra costruzione adibita a deposito.
Circa questa struttura, come detto, vi sono numerose leggende, una narra che nel primo dopoguerra soggiornò nella villa tale Aleister Crowley, uno dei maggiori esponenti di occultismo e satanismo dell’epoca.
Mr. Crowley era dedito a rituali sessuali e durante questi ricorreva sovente il colore rosso che poteva essere ritrovato sia nelle stanze sia nella scelta delle donne (dai capelli rossi) e da qui, probabilmente, scaturì il soprannome della villa “Casa Rossa”.