На брега на река Елба, съвсем близо до днешния град Дрезден, херцогът на Саксония, Мориц, си харесал място за ловна хижа. Решил да не я строи на сушата, а във водата, като за целта бил създаден изкуствен остров. Постепенно хижата се превърнала в замък, който станал резиденция на херцога. Окончателно била завършена през 1546 година.

Мориц участва в походите на Карл V против турците и французите, конфискува обаче католическа църковна собственост и натрупва голямо богатство. Веднага след битката при Мюлберг на 4 юни 1547 г. Карл V го издига във военния лагер на курфюрст на Саксония. На 25 февруари 1548 г. Карл V го издига тържествено на събранието в Аугсбург за курфюрст на Саксония с надеждата Мориц да стане отново католик. От 1552 г. Мориц e в съюз с френския крал Анри II против Карл V.



На 9 юли 1553 г. Мориц печели битката при Сиверсхаузен при Лерте заедно с княз Хайнрих II от Брауншвайг-Волфенбютел против маркграф Албрехт II Алкибиадес от Бранденбург-Кулмбах, но е тежко ранен и умира във военния лагер на 32 години от инфекция на раната след два дена на 11 юли 1553 г. Погребан е в княжеската гробна капела в катедралата на Фрайберг.

Понеже Мориц няма мъжки наследник, по-малкият му брат Август (1526–1586), поема службата курфюрст и му издига паметник в Дрезден. Вдовицата му се омъжва след две години за херцог Йохан Фридрих Средни от Саксония (1529–1595) и умира след половин година.

Днес сградата е с четири еднакви кули с много прозорци. На върха на всяка от тях има малка камбанария, а най-отгоре се вее флагът на Саксония. От брега до замъка се стига по дълъг мост. От едната му страна стои важно каменната фигура на херцога и сякаш наблюдава кой влиза в имението му, а до него е вярното му куче. Мостът е украсен с купи и бронзови фигури на ангели.

Вътрешният интериор също е великолепен. Стените и таваните на многобройните помещения са позлатени. Покрити са с красиви гоблени на известни фламандски майстори. Някои от мебелите са изработени от сребро. Част от тях са в бароков стил и са донесени в замъка по-късно. В центъра на една от най-красивите зали, украсена с гипсови орнаменти, е поставен олтар. Друга зала е била предназначена за различни игри. Нейните стени са украсени с картини на немски и фламандски майстори.

През 1728 година към резиденцията направили огромна зелена градина, по образец на френските дворци, с различни дървета, цветя и екзотични растения.