Su secretario, José Isnardy, abrió en El Liberal Africano[5] una violenta campaña contra la Iglesia, y Vélez, obispo de Ceuta, contestó a los ataques con una enérgica Pastoral, refutando una por una sus impiedades.
[6] El gobernador quiso formar causa al obispo y este le hizo saber: El domingo, 9 de septiembre, predicó un enérgico sermón contra los procedimientos de que eran víctimas la Iglesia y sus ministros.
Vélez tuvo que embarcar desterrado a la Península y desde su destierro, publicó una protesta y los documentos justificativos de su conducta; pero la persecución llegó a ser tal que estuvo largo tiempo errante de convento en convento, unas veces en Ubrique, otras en Casares y Estepona, de los que se ausentaba para no comprometer a los religiosos.
Este ejército, conocido generalmente como los Cien Mil hijos de San Luis y acaudillado por el Duque de Angulema, avanzó hasta Cádiz y derrocó al régimen liberal en 1823.
Como arzobispo fundó una Casa de incurables y un Hospital provisional para coléricos.
Para albergar a los sacerdotes achacosos e imposibilitados fundó la Casa de Venerables, en donde aquellos pudiesen ser mantenidos sin ser víctimas de la miseria y sin menoscabo del decoro sacerdotal.
En 1831 regaló el actual reloj de la Catedral, que construyó en Ferrol Andrés Antelo.
Extinguidas las órdenes religiosas, Vélez había conservado su hábito y barba de capuchino.
Cierra esta urna una losa de mármol que ostenta el escudo prelacial, y debajo se ve una lápida, también de mármol, con inscripción y adornada en su parte superior con varios atributos episcopales.