Aksel Gyldenstierne kom for øvrigt også til at mærke, at pantesummen stadig forhøjedes, så nu drejede det sig om et beløb på 12.253 gamle dalere. At Aksel Gyldenstierne blev lensmand på Voergård skyldtes de forhandlinger, som i foråret 1573 var i gang mellem kong Frederik og Frands Banner – svoger til Ingeborg Skeel – om et større mageskifte, der skulle omfatte Banners hovedgård, Rygård på Sjælland, og Voergård