Na skarpie nad brzegiem Noteci wśród lasów Wilhelm Bolko von Hochberg wybudował neorenesansowy pałac. Dzisiaj nazywany jest powszechnie zamkiem, a to dlatego, że fundator wzorował się na istniejącym w Nadrenii-Północnej Westfalii zamku Varenholz. Budowa trwała niespełna dwa lata i ukończona została w 1911 roku. Bryłę wieńczą trzy baszty przykryte hełmami. Wewnątrz częściowo zachował się dawny wystrój, a zwłaszcza w stylowej bibliotece.
W zamku mieści się Zespół Szkół Leśnych, którego wizytówką jest Zespół Trębaczy Myśliwskich. Co roku, zwykle w maju lub czerwcu, na zamku organizowany Wielkopolski Festiwal Kultury Łowieckiej i Edukacji Ekologicznej, podczas którego odbywają się m.in. widowiskowe konkursy sygnalistów myśliwskich, wabienia jeleni, turniej łuczniczy, pokazy psów myśliwskich i konkursy oceny poroży jeleni. W 2007 roku w Goraju został ustanowiony rekord Polski w grze na rogach myśliwskich. „Apel na łowy” zagrało wówczas 403 sygnalistów.
Zamek dostępny codziennie do zwiedzania z zewnątrz. Zwiedzanie obiektów po umówieniu: tel. 67 255 26 55.