Le prime tracce archeologiche di insediamenti umani nel sito che sarebbe poi stato occupato dal centro di Girokastro sono di età romana. Durante l'Impero Bizantino la città divenne un importante centro commerciale conosciuto con il nome di Argyropolis (la "città argentata") o di Argyrokastron ("castello argentato").

La città fece parte del Despotato d'Epiro nel XIV secolo per poi essere assoggettata all'Impero Ottomano (nel 1417). Nel 1811 venne conquistata da Alì Pascià di Tepeleni, che ne fece una testa di ponte per la creazione di un proprio feudo autonomo nei Balcani sudoccidentali. Nella seconda metà del XIX secolo la città divenne poi un centro di resistenza contro i Turchi. Nel 1880 vi si tenne l'Assemblea di Argirocastro, un atto storico che avrebbe giocato un ruolo chiave in funzione del movimento di liberazione nazionale.

Molti edifici di Argirocastro hanno uno stile ben preciso tra cui ampi tetti costruiti con lose che ha fatto guadagnare alla città il soprannome di "città delle pietre". A causa dell'importanza che la città rivestiva durante il regime comunista, il suo centro cittadino venne risparmiato degli insensati piani di sviluppo che afflissero molte delle altre città albanesi, anche se la sua designazione come "città-museo" non significò il restauro e il corretto mantenimento degli edifici della città vecchia. In conseguenza di ciò molte delle sue costruzioni più antiche sono andate in rovina, un problema che sta trovando tuttavia una lenta soluzione grazie all'interessamento del Governo.

Tra le mete turistiche più interessanti vanno considerati il Centro Storico con il Bazar e le case caratteristiche, il Castello, il Museo Nazionale delle Armi, il Museo Etnografico, la Chiesa di Labova e Kryqit (sec.X), i vicini siti archeologici di Antigonea e Hadrianopoli (II sec.d.C). La Cittadella - che domina la città e le strategiche vie lungo il fiume Drin - venne costruita nel XVIII secolo da Gjin Bue Shpata, un leader locale; modifiche vennero apportate durante il XIX e il XX secolo da Ali Pashe Tepelene e dal governo di Re Zog. Oggi esso ingloba cinque torri e ospita una torre dell'orologio, una chiesa, fontane e le antiche scuderie. La parte settentrionale del castello venne trasformata in prigione dal governo di Zog e utilizzata per ospitare prigionieri politici durante il regime comunista.

Ad Argirocastro si può inoltre trovare l'antico bazaar del XVII secolo, ricostruito nel XIX secolo dopo un devastante incendio. Il centro ospita, infine, più di 200 abitazioni preservate come "monumenti culturali" ed è sede del festival folk nazionale albanese che si tiene ogni quattro anni (l'ultimo nel 2005). Tipiche sono le case-torri (in turco kule) esistenti già nel XIII secolo e rimaste in voga fino al XVII secolo; gli edifici sono costruiti su un basamento ampio e adue piani: il primo piano era riservato alla stagione fredda e il secondo piano a quella calda; oggi, di fatto, Girokastro rappresenta un raro e interessante esempio di città ottomana.