Her, omkranset av både Saltfjorden, Vestfjorden og Skjerstadfjorden; og i ly av mektige Børvasstindene som rager 1400 meter over havet, var det Klaus Brokkenhuus lot bygge sitt adelsgods i 1624. Siden den gang er stedet påbygget og utvidet en rekke ganger. Det ble drevet gårdsbruk frem til 1907 og deretter har det vært fattighus, gamlehjem og feriekoloni før det i 1994 og møysommelig restauert slik det fremstår idag. Det engang så staselige adelsstedet var da preget av forfall og nærmest ribbet for alt av møbler og inventar. Hele to år tok det møysommelige restaueringsarbeidet, før de nye eierne igjen kunne åpne dørene til Skagen Gaard og ønske velkommen til en annerledes og spennende gjestegård.

​

I 2000 ble stedet en del av Det Virkelig Gode Liv, ett nettvert av særpregede overnattings- og spisesteder.

 

I 2012 ble det oppkjøpt av en lokal familie som idag bor på gården til daglig. Hester, høner og en ponni tusler rundt husveggene og bidrar også til at Skagen Gaard er en levende og spennende gård.