Posteriormente a este monasterio, gracias al rey Alfredo el Grande, se le entregaron tierras y posesiones hasta que se convirtió en una poderosa y rica abadía.
El Díptico Wilton, la famosa pintura medieval actualmente en la National Gallery de Londres, debe su nombre a este palacio, donde se conservó hasta su venta en 1929.
Herbert comenzó inmediatamente a transformar la desierta abadía en una elegante casa, símbolo de su riqueza.
Se ha pensado durante mucho tiempo, sin prueba alguna, que Hans Holbein el joven rediseñó la abadía en una casa rectangular alrededor de una patio central, que es el núcleo de la casa actual.
Con su arco central (que una vez dio paso al patio que hay detrás), y una ventana oriel de tres pisos encima, la torre se asemeja claramente a la entrada al Palacio de Hampton Court.