Zamek miał zostać zniszczony przez Szwedów podczas "potopu". W wieku XVIII z materiału pozyskanego z ruin wzniesiono pałac. Właścicielem tej nowej budowli był Jan Aleksander Czyżowski. Na początku XIX wieku pałac rozbudowano wg projektu czyżowskiego proboszcza J. Kraśnickiego. Przed 1939 rokiem jeszcze dwukrotnie prowadzono tu prace budowlane w celu konserwacji murów i zwiększenia powierzchni mieszkalnej. Nie bez powodu pałac znajduje się na szlaku literackim im. Witolda Gombrowicza. Gościli w nim prezydenci RP oraz artyści. Wśród tych drugich był nie tylko Gombrowicz ale i Władysław Reymont, Leon Wyczółkowski. W okresie wojennym mieszkał w pałacu Antoni Żółkiewski - inspektor plantacji buraków cukrowych (mniej oficjalnie dowódca Inspektoratu Sandomiersko-Opatowskiego AK o ps. "Lin" i w stopniu ppłk). Od 1944 w pałacu znajdował się niemiecki szpital wojenny.
Po wojnie opuszczony pałac grabili Rosjanie i okoliczna ludność. Później przejął go PGR, a następnie w pałacu siedzibę znalazła szkoła. Próbę renowacji podjęła w 1968 roku Huta Stalowa Wola. Kolejne próby podejmowano w latach 1978-1991. Od 1996 pałac jest własnością prywatną.
Dawna brama wjazdowa.
Widok spod kościoła w Czyżowie Szlacheckim.
