Die ersten Hinweise auf ein Archiv in der Stadt Zwettl finden sich im Ratsprotokoll vom 8. Mai 1601. Damals entschied der Rat, dass wegen zahlreicher Konflikte mit den örtlichen Fleischhauern immer wieder erlassene Verordnungen in Zukunft vom Stadtschreiber gesammelt werden. Der Stadtschreiber musste die Artikel laufend aktualisieren, ein Verzeichnis anlegen und beides sicher aufbewahren.
In den Zwettler Ratsprotokollen finden sich über viele Jahrzehnte immer wieder Eintragungen, dass die schriftlichen Dokumente und Protokolle unter den Stadtrichtern weitergegeben wurden. Ein erstes „richtiges“ Archivinventar entstand erst 1774. Dieses war in 7 Abschnitte gegliedert. Leider gingen viele der dort angeführten Bestände seither verloren.
Mit dem Ende der patrimonialen Verwaltung 1850 begann eine schwierige Zeit für das Archiv. Seine Bestände mussten mehrmals von einem Amtshaus in das nächste übersiedelt werden und dürften im Grunde wenig beachtet worden sein. Als Karl Uhlirz, ein Archivar der k. k. Reichshaupt- und Residenzstadt Wien, 1893 zum Genesungsurlaub nach Zwettl kam, machte Pater Benedict Hammerl ihn auf das brachliegende Archiv in der Stadt aufmerksam. Bürgermeister Franz Forstreiter gab seine Zustimmung, woraufhin Karl Uhlirz den Urkundenbestand sichtete und Regesten anfertigte. Es entstand das Büchlein „Das Archiv der l. f. Stadt Zwettl“ – eine seltene, frühe, wissenschaftlich fundierte Publikation über wesentliche Teile der Archivbestände.
1902 legte Pater Benedict Hammerl ein umfangreicheres Archivverzeichnis an, das er jedoch nicht vollendete. Zur Zeit der Weltkriege war das Archiv eher ein unliebsames Anhängsel der Registratur, das die Raumnot noch verschärfte. Das Archiv unterstand der Stadtamtsdirektion. Es gab keinen eigenen Archivar.
In den 1960er Jahren entdeckte die Stadtverwaltung ihr Archiv neu. Bürgermeister Franz Eigl und Vizebürgermeister Josef Pexider baten das NÖ Landesarchiv um Hilfe bei der Ordnung der Archiv- und Registraturbestände. Oberarchivrat Dr. Franz Stundner besichtigte die Bestände und meinte, dass die Räume erst saniert und ein Planschrank angekauft werden müssten, bevor er mit den Ordnungsarbeiten beginnen könnte. Nachdem dies geschehen war, nahm Stundner im Mai 1966 seine Arbeiten auf. Er und eine Hilfskraft ordneten die Handschriften, ließen sie neu binden, versahen sie mit Signaturen, reinigten die Akten und verpackten sie in Archivkartons. Die Bestandsverzeichnisse hinterlegte Stundner im NÖ Landesarchiv, da die Stadt anscheinend zu wenig Interesse an seinen Arbeitsergebnissen zeigte.
Es folgten weitere Übersiedelungen, bis das Archiv 1982 mit dem Stadtamt im ehemaligen Krankenhaus in der Gartenstraße 3 ein neues Zuhause fand. 1986 betraute Kulturstadtrat Leopold Rechberger Friedel Moll mit der Leitung des Archivs. Nun wurde dem Archiv ein eigener Bereich eingeräumt. Man adaptierte die ehemaligen Dienstzimmer der Spitalsärzte im Dachgeschoß und stattete sie mit Regalen aus. Unter Mithilfe des NÖ Landesarchivs wurde der große Bestand neu geordnet. In den folgenden Jahren digitalisierte Friedel Moll die Bestände, erschloss sie im Detail und baute ein großes Netzwerk zu anderen Archivaren, Historikern und Wissenschaftlern auf.
2017 übernahm Elisabeth Moll die Agenden im Stadtarchiv. Im Juni desselben Jahres mussten die gesamten Bestände neuerlich übersiedeln, dieses Mal in ein Ausweichquartier am Bauhof Zwettl. Nach dem zweijährigen Umbau des Stadtamtes Zwettl kehrte das Stadtarchiv im Juni 2019 ins Stadtamt in der Gartenstraße zurück. Die Archivalien lagern nun in einer modernen Rollregalanlage in einem eigenen Depotraum, werden weiter digitalisiert, erforscht und der Öffentlichkeit zugänglich gemacht.