Die Geschichte des Königspalastes begann in der Zeit, als Karl I. 1323 seinen Sitz nach Visegrád versetzte.
Zugleich wurden Bauarbeiten in der Stadt aufgenommen. Die erste Erwähnung des Gebäudekomplexes knüpft sich an eine negative Geschichte: die Chronik berichtet, dass Felicián Zách die königliche Familie im Königspalast überfiel.

In der Zeit von Karl I. entstanden nur wenige Wohnhäuser und eine Fläche, die zur Organisierung von Ritterspielen geeignet war, an denen gelegentlich auch der König teilnahm. In der Anjou-Zeit war das Territorium des Palastes einem Stadtteil mit mehreren Gebäuden gleich, das in der Zeit von Sigismund zum Palast umgebaut wurde. Der Palast war quadratförmig und war mit einer Mauer umgeben. Die alte Kapelle blieb außerhalb der Mauer, so schenke sie der König zusammen mit einem Klostergebäude dem observanten Franziskanerorden.

Der Turm diente als Haupteingang; gegenüber war der Eingang der neuen, einschiffigen Palastkapelle. Mit dieser Modifizierung gewann man mehr Fläche für den Hof und Garten. Am bedeutendsten war der Empfangshof und der Schmuckhof im nordöstlichen Teil des Palastes.
Das Zentrum des Palastes befand sich im nordöstlichen Teil des Gebäudekomplexes. Hier wurde in einem quadratförmigen, dreistöckigen Gebäude der königliche Wohnsitz eingerichtet. Im unteren Stock wohnte das Dienstpersonal, die oberen Stockwerke dienten als Winter- und Sommerresidenz des königlichen Paares.
Neben dem Palast ließ Sigismund einen rechteckigen Obstgarten fast so groß, wie der Palast mit einem durch Wasserleitung betätigten Springbrunnen in der Mitte errichten.

Die Spuren der Umbauten und Verzierungen dieser Epoche sind in den Räumen des Palastes erkennbar.   Später wurde der Palast gewissermaßen vernachlässigt; woran nur die Heirat des Königs Matthias Corvinus mit Beatrix von Aragon änderte. Der Palast wurde im spätgotischen Stil erneuert.
Anstatt von Neubauten wurden eher die alten Gebäude nach Ansprüchen der Zeit umgestaltet. So entstanden in den Werkstätten der Bildhauer unter der Leitung von Giovanni Dalmata Skulpturen, Ofen und Springbrunnen.

Der berühmte Herkulesbrunnen des Palastes hängt auch mit dem Namen des italienischen Meisters zusammen. Der Brunnen war mit den Wappen des Königs verziert und das Kind Herkules wies angeblich auf den Heerführer-König hin. Rund um den Brunnen wurde der Schmuckhof der Sigismund-Epoche um einen prunkvollen Renaissancepalast erweitert.
Auch der Garten war mit neuen Werken geschmückt. Die italienischen Bildhauer hinterließen auch in der Kapelle ihre Spuren. Sie schufen das neue Tabernakel der Kapelle aus vergoldetem Marmor aus Carrara und die Kirche verzierten sie mit zahlreichen Schnitzarbeiten, von denen ein Relief aus rotem Marmor, die sog. Madonna von Visegrád, heute noch bewundert werden kann. Der Palast bewährte sich auch unter den zeitgenössischen italienischen Renaissancehöfen.

Der päpstliche Bote, Bartolomeo de Maraschi nannte den Palast in seinen Briefen irdisches Paradies.   Später, in der Zeit der Verwüstung gedenkte Mitte des XVI. Jahrhunderts Miklós Oláh in seinem Werk „Hungaria” der Blütezeiten des Palastes. Das Gebäude wurde nämlich in der Türkenzeit vollständig zerstört und auf das XVIII. Jahrhundert von Erdmassen begraben. Bis zum XX. Jahrhundert galt es als vergessen; manche bezweifelten sogar, dass es in der von Oláh beschriebenen Form jemals existierte.

Die Stelle des Palastes fand schließlich János Schulek und begann 1934 mit den Ausgrabungen. Wie damals zum Aufbau des Palastes fast alle Könige beitrugen, so arbeiteten an der Renovierung die berühmtesten Architekten und Historiker, angefangen von János Schulek über Miklós Héjj bis Mátyás Szőke.
Die oft jahrzenhnelang stockende Rekonstrukion erlebte in der Zeit des Millenniums einen neuen Schwung und auf das Jahr 2000 war der nordöstliche Palast sowie der Herkulesbrunnen wieder aufgebaut. Innerhalb des Palastes zeigen die Ausstellungsräume und die Steinsammlung Denkmäler aus verschiedenen Zeitepochen. (www.visegradmuzeum.hu)