Bygningen havde været i Schalburg-slægtens eje, siden August Theodor Schalburgs oldefar, en godsejer fra Holsten, i 1811 besluttede sig for at drage nordpå og føre en gren af slægten til Nyborg.