Książę Aleksander Drucki-Lubecki, potomek "Małego Księcia" podjął się zadania budowy siedziby rodowej w Bałtowie na miejscu dawnego dworku. W tym celu udał się w podróż do Włoch zabierając ze sobą przyszłego budowniczego pałacu. Po powrocie z tej wyprawy (1898 r.) rozpoczęto budowę pałacu. Trwała ona do roku 1904. Można też spotkać informacje podające lata 1894-1899. Które daty są prawdziwe?
Klasycystyczny pałac otaczał częściowo tylko zmieniony park. Budynek miał trzy kondygnacje i 36 pokoi. Frontem zwrócony ku parkowi. Okna na zapleczu i balkony z widokiem na dolinę Kamiennej. Brama wjazdowa została przeniesiona niżej by nie zasłaniać widoku na pałac. Umieszczono na niej napis, który dziś umieszczony na transparencie rozpostartym nad szosą wita i żegna przybyszy w Bałtowie Boże Ci wszyscy, którzy tu bywają czego nam życzą niechaj sami mają
Po pożarze, który strawił pałac w roku 1930 (lub 1914 - tu znów źródła podają różne daty) budynek odbudowano wprowadzając liczne zmiany. Najważniejszą z nich było obniżenie go o jedną kondygnację. Druccy-Lubeccy pozostawali tu do roku 1944. Po opuszczeniu przez nich pałacu pozostawione dobra rozkradziono, a pałac podpalono. Zniszczenia wywołane pożarem nie były chyba jednak bardzo poważne gdyż po szybkim remoncie w pałacu umieszczono posterunek Milicji Obywatelskiej, a na początku lat 50 szkołę rolniczą. Brak remontów sprawił jednak że szkoła wyprowadziła się stąd już w 1974 roku.
W roku 2005 skradziono dwa lwy zdobiące wejście do pałacu. Policja prowadząc działania dochodzeniowe miała problem z określeniem właściciela pałacu. Być może to skłoniło samorząd do uregulowania spraw własnościowych. Kolejnym krokiem były wycena i wystawienie pałacu na sprzedaż. O odzyskanie pałacu starają się jeszcze spadkobiercy dawnych właścicieli. Najprawdopodobniej pałac zmieni się w hotel choć jeszcze nie wiadomo kiedy. W chwili obecnej jest w stanie postępującej wciąż ruiny, otoczony płotem zwieńczonym drutem kolczastym. A widok na dolinę Kamiennej przysłaniają drzewa.
