Die Burg wurde auf einem Hügel am Fluss Guber erbaut. Mit dem Bau der gotischen Burg, die einst Sitz des Pflegers war, wurde wahrscheinlich nach der Verleihung der Stadtrechte im Jahre 1357 begonnen. Eine hölzerne Wallburg, die von den Kreuzrittern auf den Trümmern der im 13. Jahrhundert eroberten preußischen Burg Rast errichtet wurde, verteidigte die Siedlung vor litauischen Angriffen. Die Burg war mit einer Schutzmauer mit drei Basteien an den Ecken und einem Einfahrtstor an der Stadtseite umgeben. Bis heute sind Überreste der Schutzmauern mit den Basteien erhalten. Die Burg war ursprünglich ein dreiseitiges Gebäude, das von der Westseite mit einer Mauer und einem Einfahrtstor geschlossen wurde. In dem repräsentativen nördlichen Flügel waren das Refektorium, die Wohnräume des Pflegers und eine Kapelle untergebracht.
In den Burgräumen sind zurzeit das Wojciech-Kętrzyński-Museum, die Öffentliche Stadtbibliothek und die Gallerie „Konik Mazurski” untergebracht. Das Museum beherbergt wertvolle Sammlungen, die der Öffentlichkeit als Dauerausstellungen präsentiert werden. In den Sammlungen des Museums befinden sich eine Kultskulptur aus Stein aus dem 10. Jahrhundert, eine durchaus interessante Sammlung gotischer Skulpturen, eine der größten Sammlungen preußischer Grabfahnen aus dem 12. Jahrhundert mit der europaweit einzigen Kindergrabfahne, zahlreiche Gegenstände des Kunsthandwerks und Möbel aus dem 17.-19. Jahrhundert sowie Erinnerungsstücke an die Geschichte der Stadt und der Region.
Im Sommer finden auf dem Innenhof verschiedene Konzerte und Märkte statt. Insbesondere möchten wir Sie zum Mittelalterlichen Jakobsmarkt, der Ende Juli stattfindet, und zu den Sommerkonzerten aus der Reihe „Rastenburger Schlosstreffen“, die an den Augustwochenenden veranstaltet werden, einladen.