Na místě dnešního zámku stávala v 15. století tvrz pánů Berků z Dubé. První významná přestavba byla pravděpodobně roku 1596. Nejstarší popis zámku pochází z roku 1661. Vedle tvrze stávala úřední budova s kanceláří pro hejtmana a písaře, truhlárnou a pekárnou, maštalemi pro jízdní nebo kočárové koně. Na začátku 17. století nechal Adam Bohdanecký zámek rozšířit.

Další drobné úpravy pak proběhly za hraběte Prokopa Hartmana z Klarštejna roku 1825 a poslední úpravou prošel zámek v roce 1886. V roce 1945 byl zámek na základě Benešových dekretů zabaven. V roce 1946 přešel zámek do držení Ministerstva školství a kultury, a to včetně dvoupatrové budovy z 18. století. Mezi 70. 80. léty byla tato budova zbořena.

V letech 1951 až 1954 byla v budově zámku ubytovna pro učně textilního závodu v Horním Adršpachu. Po pěti letech byla budova i s pozemky převedena do majetku Státního statku a pozvolna chátrala.

V roce 1969 zámek i s pozemky získal Svaz klubu mládeže, jenže téhož roku proběhla konfiskace jeho majetku, budovu převzalo Ministerstvo vnitra, které zde zřídilo archiv a investovalo do nejnutnějších oprav. Archiv byl na zámku až do roku 1989. V roce 2003 získal zámek v restituci Svaz klubu mládeže.

V roce 2013 zámek odkoupila obec Adršpach a pustila se do jeho rekonstrukce. Dne 1. května 2014 byl zámek poprvé zpřístupněn veřejnosti.