Originariamente fue construido para el cardenal Thomas Wolsey, un favorito del rey Enrique VIII, alrededor de 1514.
Durante su construcción intervinieron artistas como Giovanni da Maiano que decoró las torres octogonales con medallones de terracota.
En cuanto a la decoración, utiliza tanto motivos heráldicos como animales mitológicos (grifos y unicornios).
La primera pieza fue encargada por Enrique VIII y fue acabada el mismo año en que ajusticiaron a Ana Bolena.
La Capilla Real también fue embellecida por Enrique VIII, pero solo queda de lo original la bóveda, todo lo demás fue diseñado por Wren.