Hvidkilde Gods er anlagt som skovenestegård, hvilket betyder, at gården ligger alene ude i en skov, uden en landsby omkring. Den omtales allerede som hovedgård i 1374. I 1500-tallet udvidedes Hvidkilde med jord fra Sørup og Skovsbo, og senere inddrages nabohovedgården Søbo.
Godstilliggendet var omkring 1660 på 91 gårde, men godset blev opsplittet efter svenskekrigene. En fornyet godssamling satte ind i 1700-tallet, hvor nabohovedgårdene Nielstrup og Lehnskov tilkøbtes. Allerede tidligt fik Hvidkilde patronatsret til Egense og Sørup sogne. I 1781 ophøjedes det samlede gods til baroniet Lehn, således at godset var et fideikommis ved navn “Baroniet Lehn” fra 1781 til lensafløsningen i 1925.
I 1725 erhvervede købmand Johan Lehn Hvidkilde af kronen for den gæld, som kronen skyldte ham. I 1781 havde han tilkøbt så meget jord, at han kunne oprette baroniet Lehn med i alt 1.074 tønder hartkorn bøndergods.