Nació en una familia judeoconversa, si se han de creer las denuncias que se hicieron contra él a la Inquisición cuando ya era primer arzobispo de Granada.Aprendió árabe y se ganó la consideración de los musulmanes, que lo apodaron alfaquí santo.Su interés en predicar a los musulmanes en su propia lengua produjo el primer diccionario español-arábigo, el Vocabulista arábigo en letra castellana de fray Pedro de Alcalá, editado en Granada en 1505.Desde Roma, el papa Julio II lo defendió y Cisneros puso en libertad a sus parientes en 1507.Parece haber sido un hombre riguroso y austero, interesado en la verdadera espiritualidad.En la cual deben de ser enseñados los moçuelos primero que en otra cosa de 1496, editada en Granada en un incunable con varios de sus tratados impreso por Meinardo Ungut y Juan Pegnitzer, editores que el mismo Talavera había llevado a Granada para promocionar el arte tipográfico.Se trata de un tratado sobre las prácticas de la época que a su entender son pecaminosas y donde ridiculiza con gracejo la coquetería femenina y diversas costumbres, con motivo de un decreto de excomunión en Valladolid contra las mujeres que se vistiesen con gorguera y caderas anchas y contra los hombres que llevasen camisones con cabezones labrados.