Do drugiej połowy XVI wieku okoliczne ziemie należały do potężnego rodu Górków. Po śmierci ostatniego z rodu, wojewody poznańskiego Stanisława Górki, majątek odziedziczyli krewni – Czarnkowscy. W 1601 roku Czempiń kupił od nich Stanisław Szołdrski, którego wnuk Wojciech 80 lat później odsprzedał posiadłości swojemu wujkowi Andrzejowi. To właśnie on rozpoczął budowę pałacu. Budowla została zniszczona przez Szwedów podczas wojny północnej. Odbudowy podjął się kolejny właściciel – generał i wojewoda inowrocławski Ludwik Szołdrski. Prace zakończyły się w 1739 roku, jak głosi napis na kartuszu nad głównym wejściem. Charakterystyczne są cztery rzeźby nad głównym ryzalitem – to alegorie czterech kontynentów (lub czterech stron świata).
Wnętrze pałacu jest bogato zdobione sztukaterią i malowidłami. Niektóre prace malarskie odkryte zostały podczas prac konserwatorskich w latach 80. XX wieku, w tym te pochodzące z pierwszego okresu budowy pałacu.
W latach zaboru pruskiego (1847 r.) majątek został zlicytowany. Pałac kupiła rodzina von Delhaes, która postanowiła przebudować jego wnętrze. Wtedy na przykład, Sala Wielka, podzielona została nie dość, że stropem na dwie oddzielne kondygnacje, to jeszcze ściankami działowymi na mniejsze komnaty. Z tego okresu pochodzi też zachowany do dzisiaj taras z balustradą przed głównym wejściem.
Pałac należy do prywatnego właściciela, organizatora szkoleń, konferencji, imprez integracyjnych i biznesowych. Zwiedzanie po wcześniejszym umówieniu.