Hrad sloužil původně k ochraně zemské hranice a zlatých dolů u obce Stupná, kde se těžilo po celý středověk. Měl dvě obranné věže propojené hradební zdí a jeden obytný palác v jižní části nádvoří. Kolem hradu byl vyhlouben příkop, takže přístup byl možný pouze přes padací most.

- Od konce 15. století usilovali majitelé hradu o další rozšiřování obytných částí – zpočátku, za vladyků Hořických z Hořic, ještě v gotickém stylu, od druhé poloviny 16. století, za Škopků z Bílých Otradovic byla postupně realizována celková renesanční přestavba. Úpravou interiéru ji na začátku 17. století završil Kryštof Harant z Polžic a Bezdružic. Na místě dřívějšího strohého hradu nyní stálo krásné panské sídlo se čtyřmi obytnými paláci, které byly vystavěny kolem obdélníkového nádvoří a z vnitřní i vnější strany zdobeny sgrafity a malovanými erby rodu Škopků a Harantů.

- Po tragické smrti Kryštofa Haranta na staroměstském popravišti v červnu 1621 získal Pecku Albrecht z Valdštejna, který zámek po ročním držení daroval řádu kartuziánů z Valdic u Jičína. Ti Pecku po více než sto padesát let využívali pouze jako letní sídlo. Téměř neobývaný zámek postupně chátral. Za jeho slávou udělal definitivní tečku rozsáhlý požár v roce 1830.

- Následovalo úředně posvěcené rozebírání zdiva, které trvalo až do roku 1921, kdy ruiny zámku získala do svého vlastnictví obec Pecka. Právě obyvatelé městečka se zasloužili alespoň o částečnou rekonstrukci objektu. Vzepřeli se rozhodnutí tehdejšího památkového úřadu, který doporučoval, aby si hrad zachoval ráz zříceniny, a za pomoci státních subvencí i vlastních prostředků a práce opravili západní, Harantovský palác. Jako turistický objekt s prohlídkovou trasou slouží hrad od roku 1968.