Dla potrzeb Archiwum udostępniono budynek znajdujący się przy ulicy Podwale 27. Był to obiekt XVIII-wieczny, którego istnienie udokumentowano już w roku 1701. Pierwszym kierownikiem został dr Max Gõbel. Początkowo do nowopowstałego Archiwum Miejskiego przejmowano akta cechów rzemieślniczych, następnie materiały stowarzyszeń i majątków ziemskich. Trafiły tu m. in. akta wsi należących kiedyś do miasta. Były to: Jeżów Sudecki, Grabary, Maciejowa, Czarne, Krogulec, Strupice. Sprowadzono także część dokumentów zdeponowanych wcześniej w Archiwum Państwowym we Wrocławiu. W tym też czasie, dzięki pracy studentów z Uniwersytetu Wrocławskiego uporządkowano cały zbiór. Wydzielono wówczas najważniejsze zbiory. Były to: dokumenty pergaminowe (najstarszy z 1309 roku), akta cechowe, archiwum kościelne Kościoła Łaski, akta synagogi żydowskiej. Łącznie zbiory te obejmowały około 5000 dokumentów. Oprócz tego istniała biblioteka posiadająca wiele starodruków oraz wiele tytułów czasopism naukowych. Archiwum gromadziło także różnorodne zabytki sztuki.
Dzięki przejmowaniu eksponatów pochodzących z pałacu w Maciejowej zorganizowano w salach na piętrze budynku małe Muzeum Miejskiego. Wystawiano tam zbiory broni, porcelany, rzeźb, medali, monet, obrazów. Niestety w krótkim czasie zrezygnowano z tego rodzaju działalności. W celu udokumentowania posiadanych zbiorów dokonano ich inwentaryzacji. Powstały „Spis wszystkich dzieł sztuki miasta Jelenia Góra” obejmował 1664 pozycje. Niestety po 1945 roku zbiory te zostały rozproszone. Część z nich przekazano do Muzeum Karkonoskiego.
Mimo iż Archiwum Miejskie w Jeleniej Górze działało od roku 1927, oficjalne jego otwarcie miało miejsce 20 stycznia 1932 roku. W tym też roku władze miejskie i powiatowe zdecydowały o utworzeniu wspólnego Archiwum Miejskiego i Powiatowego w Jeleniej Górze. Oprócz podstawowej działalności Archiwum podjęło się prowadzenia kroniki miasta. Niestety kronika ta nie zachowała się do dnia dzisiejszego.
Po śmierci pierwszego kierownika Archiwum dr Maxa Gõbela w 1941 roku nowym szefem został dr Emil Krõning. Czasy wojenne nie sprzyjały powiększaniu zbiorów o kolejne dokumenty. Raczej te posiadane trzeba było chronić przed zniszczeniem. Dlatego też zbiory były systematycznie ewakuowane do różnych miejsc w najbliższej okolicy. W tym czasie do Archiwum spływały listy żołnierzy z wszystkich frontów II wojny światowej, nadsyłane do burmistrza miasta. Jako uzupełnienie tych zbiorów kierownik Archiwum gromadził pisane przez rodziny poległych żołnierzy ich życiorysy. Niestety dr Emil Krõning, widząc ilu zginęło młodych ludzi (w większości jego wychowanków) popełnił samobójstwo (19.04.1940 r.). W tym też czasie po alianckich bombardowaniach, w wyniku których uszkodzono budynki Pruskiej Biblioteki Państwowej w Berlinie, jej zbiory wywieziono m. in. do Archiwum w Jeleniej Górze.
Po zakończeniu II wojny światowej, gdy w Jeleniej Górze pojawili się przedstawiciele władz polskich, podjęto starania zmierzające do ponownego uruchomienia działalności Archiwum. Dzięki szczęśliwemu zbiegowi okoliczności w mieście pojawiła się Eugenia Triller. Przybyła ze Lwowa, absolwentka Uniwersytetu im. Jana Kazimierza, wcześniej pracowała w Oddziale Grodzkim Archiwum Państwowego we Lwowie. W Jeleniej Górze została mianowana kierownikiem Archiwum Miejskiego 14 sierpnia 1945 roku. Dzięki jej zaangażowaniu ocalało wiele bezcennych materiałów. Mimo wielu przeciwnościom udało jej się sprowadzić do siedziby Archiwum wiele zdeponowanych w różnych miejscach dokumentów. Wydała wówczas anonimowo dwie broszury o dziejach miasta i jego kościołach. Inicjowała wiele przedsięwzięć kulturalnych, doprowadziła do przeprowadzenia prac wykopaliskowych na Wzgórzu Krzywoustego, współtworzyła Towarzystwo Przyjaciół Nauk w Jeleniej Górze.
Niestety w 1951 roku, kiedy Archiwum w Jeleniej Górze stało się oddziałem Archiwum Państwowego we Wrocławiu, pozbawiona możliwości kontynuowania pracy naukowej i publicystycznej, zrezygnowała z tej pracy i wyjechała do Wrocławia. Tam zatrudniła się jako bibliotekarz w Dziale Starych Druków Biblioteki Zakładu Narodowego im. Ossolińskich. Na zasłużoną emeryturę odeszła 31 maja 1969 roku, pełniąc wówczas stanowisko starszego kustosza dyplomowanego.
Kolejnym kierownikiem Archiwum został Władysław Korcz, który rozpoczął pracę nad inwentaryzacją majątku Archiwum Miejskiego w Jeleniej Górze. W tym czasie przejmował, często znajdywane w składnicach makulatury, zbiory. Jego działania pozwoliły do znacznego powiększenia posiadanych zasobów archiwalnych. Niestety nie otrzymawszy zgody na prowadzenie badań naukowych i publikowanie ich wyników, Władysław Korcz zrezygnował z pracy i w roku 1952 wyjechał do Zielonej Góry. Tam wykazał się tak bogatą działalnością, że w roku 1999 przed budynkiem Muzeum Ziemi Lubuskiej odsłonięto poświęconą jego pamięci tablicę. Upamiętniono go także nadając jednemu z rond jego imię.
Kolejnym kierownikiem Archiwum w Jeleniej Górze został Czesław Margas. Miało to miejsce w roku 1952, gdy był jeszcze studentem na Uniwersytecie Wrocławskim. W historii zapisał się jako najdłużej urzędujący kierownik Archiwum. Na emeryturę odszedł w roku 1990. Po nim, w latach 1990-1994 pracami Archiwum kierowała Anna Borys z domu Margas, a od roku 1994 do dnia dzisiejszego Archiwum Państwowym we Wrocławiu Oddział w Jeleniej Górze kieruje Ivo Łaborewicz.
Za rządów obecnego kierownika Archiwum zostało przeniesione do nowej siedziby, do jednego z budynków po dawnej jednostce wojskowej przy ulicy Grunwaldzkiej. Dzisiaj Archiwum prowadzi, oprócz swojej podstawowej działalności, także działalność badawczą, naukową, popularyzatorską oraz publicystyczną. Już niebawem ukaże się nowa pozycja wydana nakładem Archiwum opisująca historię Archiwum Miejskiego w Jeleniej Górze na tle 75 rocznicy Archiwum Państwowego w Polsce.
