Posteriormente Scott construyó varias adiciones a la casa hasta transformarla en una mansión adornada con figuras esculpidas en las paredes de piedra sobre castillos y abades.
La última y principal de sus adquisiciones fue el sitio llamado Toftfield, comprado en 1817.
La actual casa se comenzó y terminó su construcción en 1824.
Scott solo disfrutó su residencia un año ya que en 1825 tuvo un revés económico por el cual la propiedad quedó embargada.
Entre los subsecuentes herederos estuvieron su hijastro John Gibson Lockhart, Jame Hope-Scott, y su nieta Maxwell Scott.