La Rocca è sempre stata luogo di riparo per i Vescovi di Vicenza e sembra fosse fortificata fin da prima del X secolo.Un primo documento attesta la concessione imperiale di Ottone III del castello, probabilmente fino ad allora un semplice torrione squadrato, al Vescovo di Vicenza.
Altri documenti che testimoniano con certezza il possedimento risalgono al XII secolo.
Nella sua compiutezza doveva essere un edificio piuttosto imponente adatto a far fronte a lunghi, e non rari per quei tempi bui e pericolosi, periodi di permanenza del Vescovo.
È facile intuire, anche se non vi sono testimonianze, che il maniero sia stato più volte assediato ed incendiato.
Atti notarili riferiscono che il vescovo Bartolomeo da Breganze cede, nel XIII secolo, l'uso e la manutenzione del castello alla chiesa e alla comunità locale di Brendola, con l'obbligo di offrire riparo al vescovo in caso di necessità.
