Die Ritterburg war ursprünglich eine Verteidigungsanlage aus Holz und Lehm aus dem Übergang des 12. zum 13. Jahrhundert. Erbaut auf Befehl von Prinz Bogusław IV, war sie eine Verteidigungsburg für das Fürstentum Pommern. Der nächste Herrscher von Pommern, Wartislaw IV, übergab die Burg dem Geschlecht von Wedlów, unter dessen Herrschaft Połczyn-Zdrój 1337 das Stadtrecht erhielt. Etwa 1374 wurde die Burg an den Ritter Gerd von Manteuffel aus Białograd verkauft. Die Ritterfamilie Manteuffel kümmerte sich um den Ausbau dieser Verteidigungsanlage. Wesentliche Umbauten fanden im 14. Jahrhundert durch Kurt von Maneuffel statt – anstelle der ursprünglichen Anlage wurde eine neue Burg errichtet, zu Beginn des 16. Jahrhunderts – Rekonstruktion nach einem Brand und im 18. Jahrhundert – Errichtung eines barocken Palastes auf den mittelalterlichen Fundamenten, die nach dem Abriss auf Befehl des damaligen Eigentümers der alten Festung übrig blieben. Heute hat das Objekt barocke Charakterzüge und besteht aus zwei Gebäude mit zwei Etagen, die in L-Form verbunden sind. Der interessanteste Teil des Palastes sind definitiv die Keller, darunter der älteste, der in seiner ursprünglichen Form erhaltenen Teil des Gebäudes. Heute beherbergt die Burg eine Bibliothek, es gibt auch eine Galerie und eine Ausstellung alter Postkarten.
