Se trasladó como funcionario al aire libre (en escocés ghillie o ayudante), al Castillo de Balmoral, que la reina Victoria y el príncipe Alberto compraron en 1853.
La naturaleza exacta de su relación con Victoria fue objeto de gran especulación por sus contemporáneos, y sigue siendo controvertida hoy en día.
El caso es que Brown murió en 1883 y, para consternación de su secretario privado, Henry Ponsonby, Victoria comenzó a escribir una elogiosa biografía de su antiguo sirviente.
Ponsonby y Randall Davidson, deán de Windsor, que leyeron los borradores, aconsejaron a Victoria no publicarlos porque sería alimentar los rumores de una relación romántica y el manuscrito fue destruido.
El hijo de Victoria, el rey Eduardo VII, mandó quemar toda la correspondencia,[4][5] esto mismo sucedió con la correspondencia entre Victoria y Abdul Karim En 1997 se estrenó la película Su majestad Mrs.