El duque de Wellington lo describió como «el hombre más estúpido que he visto en mi vida».
[3] Como persona de poca amabilidad, Labrador no consiguió apoyo a sus demandas en un congreso donde la vida social fue paradigmática y donde le perjudicó la falta de dinero, pues la Corona española nunca le envió subsidios para financiar banquetes ni recepciones.
Austria trató de mostrarse como la potencia católica más fiable para el Papado y obstruyó los esfuerzos españoles en sentido contrario, sin que Labrador pudiera impedirlo.
Del mismo modo, la petición de Labrador de que el Congreso respaldara materialmente a España en su lucha contra sus colonias americanas fue rechazada, ya que ello hubiese dañado los intereses comerciales de Gran Bretaña, mientras Prusia, Austria y Rusia rehusaban incurrir en tal esfuerzo sólo para beneficiar a España y enemistarse con el gobierno británico.
En algunos libros de historia aparece que fracasó debido a: «... Su mediocridad, su carácter altivo y su total subordinación a los caprichos del círculo íntimo del rey, por lo que no consiguió nada favorable».