Hrad ve Vysokém Chlumci vznikl ve druhé polovině 14. století a podle pověsti zvolily místo pro hradní stavení pekelné mocnosti. Práce byla započata původně na nedalekém Skuhrovském vrchu, avšak čerti odtud každou noc neúnavně odnášeli na nynější místo vše, co dělníci přes den vystavěli. Stavitelé pekelníkům dlouho vzdorovat nevydrželi a podřídili se jejich vůli. Hrad tedy vyrostl na vrchu Chlumci.

Hrad koupila roku 1474 Anna Švihovská, vdova po Janu Popelovi z Lobkowicz. Tím se dostalo chlumecké panství téměř na pět set let do rukou šlechtického rodu Lobkowiczů. Postupem času byl hrad přebudován na pohodlnější zámek.

Za vlády Lobkowiczů se chlumecké panství úspěšně rozrůstalo. V roce 1644 sem byly z okolních dvorů převezeny mnohé cenné věci, živý inventář a zásoby v naději, že zde budou v bezpečí před císařskými a švédskými vojsky. Hradu se však zmocnili po krátkém boji Švédové, a co nestačili zkonzumovat, to si odvezli nebo alespoň zničili.

Se vznikem Československa roku 1918 byly zrušeny šlechtické tituly a Lobkowiczové se věnovali především práci ve státní sféře a v diplomacii. Vysoký Chlumec zůstal téměř opuštěn, ale majitelé jej přesto udržovali. V roce 1948 byl vysokochlumecký zámek znárodněn a rodu Lobkowiczů byl navrácen v roce 1992. Ti jej roku 1998 prodali novému majiteli, jímž je Riprand, Graf von und zu Arco-Zinneberg. Nový hradní pán zde má svou rezidenci a objekt není přístupný veřejnosti.