O lugar de Avô e seus domínios foram doados pelo Conde D. Henrique ao bispo de Coimbra. A sua fortificação, entretanto, é atribuída ao reinado de D. Afonso Henriques (1112-1185).

A evolução histórica e arquitectónica do castelo requer maiores pesquisas. Em meados do século XIX a estrutura já estaria abandonada quando, em 1856, a sua cantaria foi reutilizada na construção da ponte de Ribeira de Moura. Posteriormente, particulares da região teriam prosseguido na utilização das antigas pedras, degradando inteiramente o monumento.

O conjunto dos panos de muralhas remanescentes no castelo, que compreende as ruínas da Ermida de São Miguel em seu perímetro, foi classificado como Imóvel de Interesse Público por Decreto publicado em 25 de Outubro de 1963.