A finales de la década de los años sesenta comienza una etapa de decadencia de la Hermandad, llegando incluso a no celebrar entre los años 1984 y 1988 el tradicional quinario al Santo Crucifijo de la primera semana de Cuaresma. Durante estos años únicamente se celebró la función de renovación del Voto de la Ciudad gracias al celo de la Comunidad de religiosas del Santo Ángel Custodio.