Tuvo cuando menos un hermano, Vicente José Castex y Delgado.

Nuevamente en Buenos Aires, se incorporó a la Real Audiencia y en abril de 1789 el tribunal comisionó al licenciado Eusebio Urra y a los doctores José Vicente Carrancio y Francisco Bruno de Rivarola para que "juntándose en casa del más antiguo examinen a don Alejo Castex en la práctica forense y remitiendo cerrado el correspondiente informe se dará providencia a los demás",[3]​ tras lo que Castex fue autorizado al ejercicio de la profesión.

En 1809 reemplazó a su antiguo examinador Francisco Bruno de Rivarola como asesor del Real Tribunal.

Ese año también se desempeñó como asesor del Juzgado de segundo voto.

Asumió luego la presidencia del Superior Tribunal de Justicia.

Entre 1825 y 1827 Castex se desempeñó como diputado en el Congreso General.

Una calle del barrio de Palermo en su ciudad natal lleva su apellido.