Istituito con DM del 5 ottobre 1973, l'Archivio iniziò la sua attività provvisoriamente presso la Prefettura di Belluno e finalmente, nei primi mesi del 1976, si trasferì nella sua sede attuale: la storica sede della scuola della Confraternita di Santa Maria dei Battuti, utilizzata sin dal 1806 dall'Archivio notarile distrettuale. I primi fondi a costituire il suo patrimonio sono stati quelli del Distretto militare e dell'Ufficio di leva di Belluno, i più consultati per condurre ricerche di tipo genealogico.
La tutela sugli archivi degli enti statali operanti nel territorio di Belluno è documentata a partire dal 1957, anno in cui vennero istituite le prime Commissioni di sorveglianza sull'archivio dell'Intendenza di finanza e su quello della Questura di Belluno. Durante i lavori delle Commissioni venne disposta una severa selezione del materiale documentario destinato alla conservazione, segnalando l'archivio dell'Ufficio del registro (con documento dal 1915 mai versati in Archivio di Stato) e l'archivio del soppresso Partito nazionale fascista-Federazione dei fasci di combattimento di Belluno, entrambi conservati dall'Intendenza di finanza. L'attività delle altre Commissioni, istituite presso Prefettura, Ufficio tecnico erariale, Ufficio provinciale poste e telegrafi, Ragioneria provinciale dello Stato, Ufficio provinciale del lavoro, etc., è documentata invece dalla metà degli anni Sessanta. I lavori delle Commissioni proseguirono senza soluzione di continuità negli anni successivi fino all'effettiva apertura dell'Istituto.
I primi anni di attività dell'Archivio sono stati segnati dalle difficoltà di adeguare l'edificio della storica Scuola dei Battuti alle esigenze di conservazione del materiale documentario che da lungo tempo era già stato individuato per costituire un "archivio provinciale" e dalle rimostranze mosse dalla cittadinanza, guidata da alcuni valenti storici locali, per l'impossibilità di poter consultare la documentazione.
Nel 1978, completati i lavori di allestimento della sede, fu elaborato un questionario da diffondere agli Archivi ed alle Soprintendenze archivistiche di Veneto, Friuli, Trentino, Emilia, Lombardia, Piemonte e Liguria, da utilizzare per raccogliere informazioni circa la presenza di documentazione relativa a Belluno nei territori che ricaddero sotto il dominio veneziano, austro-ungarico o napoleonico. Successivamente vennero disposti trasferimenti di documentazione di antico regime individuata grazie alle informazioni ricevute dall'Archivio di Stato di Treviso e dagli archivisti impegnati nella ricognizione e nel riordinamento del “settore delle cosiddette Manimorte” dell'Archivio di Stato di Venezia.
Tra la fine degli anni Ottanta e l'inizio degli anni Novanta del XX secolo l'Archivio di Stato cominciò a ricevere la documentazione della Prefettura e dell'Intendenza di finanza; nel 1994 seguì il versamento dell'Archivio notarile distrettuale e degli Atti dei notai; tra il 1994 e il 1998 quello dei documenti degli enti ecclesiastici soppressi e di altri fondi di epoca contemporanea, come l'archivio del Corpo forestale dello Stato. Subito dopo si aprì una stagione di ferventi lavori di ordinamento e inventariazione che consentirono di portare a termine quanto iniziato negli anni Ottanta da tanti valenti archivisti, servendo al tempo stesso da palestra ad una nuova generazione di storici e archivisti locali.
