König Ludwig I. dankt 1848, einem Jahr politischer Unruhen, ab. Weiterhin aber nutzt er das Schloss in Berchtesgaden als Jagdresidenz. Sein Sohn und Nachfolger im Königreich Bayern, Maximilian II., geht selbst gern in Berchtesgaden auf die Jagd. Da Ludwig I. das dortige Schloss noch beansprucht, entschließt sich Maximilian II., seine eigene Residenz zu bauen: Von 1849 – 1852 entsteht unterhalb des Kälbersteins die Königliche Villa, dann auch Max Villa genannt, im klassizistisch- italisierenden Stil. Maximilians Söhne, Otto und Ludwig II., der spätere Märchenkönig, verleben als Kinder zwischen 1853 und 1863 mehrfach die Sommerferien in der Königlichen Villa.
Unterhalb der Villa wird 1892 der Luitpoldpark eröffnet.
Anfang der 1920er Jahre wird ein Teil des Gebäudes in Wohnungen umgewandelt. Der Rest wird vor dem Zweiten Weltkrieg als „höhere Unterrichtsanstalt“, als Ausstellungsraum des örtlichen Künstlerbundes, als „Café Bubestinger“ und „Kur-Café Königliche Villa“ genutzt. Nach dem Krieg dient die Villa als Jugendhaus, als Café und Großmarkt.
1975 wird sie an eine Privatperson verkauft, 1983/84 in 30 Eigentumswohnungen aufgeteilt. Heute ist das Anwesen denkmalgeschützt.
