La torre del homenaje de este castillo ha tenido tres caídas documentadas a lo largo de la historia. La última de ellas, acaecida en 1830 y con 30 víctimas mortales, tuvo que ver con la voladura de una de las puertas de las murallas de la ciudad por parte del ejército de Napoleón durante la guerra de la independencia