序
我國正在全面推進數(shù)字中國戰(zhàn)略，人工智能大數(shù)據將引起新的科技產業(yè)革命，檔案信息資源是最大的、最有效的大數(shù)據，基于數(shù)字中國戰(zhàn)略，如何探索創(chuàng)新檔案數(shù)據管理與長期保存策略，成為擺在我們面前的一項緊迫的重大課題。
在大數(shù)據環(huán)境下，檔案工作的環(huán)境、對象、內容都發(fā)生了巨大變化。國家檔案局《2022年度全國檔案主管部門和檔案館基本情況摘要》的統(tǒng)計數(shù)據顯示，全國各級國家綜合檔案館現(xiàn)有館藏檔案數(shù)字化成果28069��0TB，館藏電子檔案2372��9TB，其中，數(shù)碼照片220��0TB，數(shù)字錄音、數(shù)字錄像1040��0TB。海量數(shù)據的涌現(xiàn)，給人類生產、生活帶來巨大便利，同時也誘發(fā)了檔案數(shù)據的安全問題。
數(shù)據安全關乎國家安全。數(shù)據與國家經濟運行、社會治理、公共服務、國防安全等方面密切相關，數(shù)據泄露、丟失和濫用將直接威脅國家安全和社會穩(wěn)定。2021年1月1日,《中華人民共和國檔案法》正式施行，明確要求各級人民政府應當將檔案信息化納入信息化發(fā)展規(guī)劃，保障電子檔案、傳統(tǒng)載體檔案數(shù)字化成果等檔案數(shù)字資源的安全保存和有效利用。2021年9月1日，我國數(shù)據安全領域的基礎性法律《中華人民共和國數(shù)據安全法》正式施行，明確將數(shù)據安全上升到國家安全范疇。2021年中共中央辦公廳、國務院辦公廳印發(fā)《十四五全國檔案事業(yè)發(fā)展規(guī)劃》，要求檔案部門要貫徹總體國家安全觀，加強電子檔案長期保存技術和管理研究，保障檔案數(shù)字資源安全，創(chuàng)建科學的可信存儲與驗證體系。2023年，國務院辦公廳印發(fā)《政務服務電子文件歸檔和電子檔案管理辦法》，對規(guī)范電子文件管理，確保電子文件的真實、完整、可用和安全提出明確要求。安全保管保存好電子文件，加強檔案數(shù)字資源長期保存已擺上重要日程。2019年2月和2022年2月，時任上海市委書記李強同志兩次視察上海市檔案館時指出，要加強檔案數(shù)字資源的長期安全保存問題的超前研究，找到對策。
2021年3月，國家檔案局專門立項科研項目數(shù)字檔案儲存介質耐久性及長期保存策略研究，由我承擔主持這項國家重點課題的研究，歷經三年多時間完成并通過國家檔案局驗收。之后，我又主持了相關應用性研究，形成了面向實際的、具有可操作性的調研報告，提出了現(xiàn)階段檔案數(shù)字資源長期保存主要存在以下八個方面的問題：
一是檔案數(shù)字資源數(shù)量激增而帶來的龐大數(shù)據存儲風險。近年來，我國法律法規(guī)保障方面不斷取得突破，使電子文件歸檔與電子檔案管理的路徑逐步打通，電子檔案在各級檔案部門大量匯集。以上海市檔案館為例，其自2011年建設分布式存儲系統(tǒng)，2018年擴容至400TB裸容量，因采用兩副本模式，實際可用容量為200TB，目前已使用80TB，冗余120TB。當前存儲系統(tǒng)主要存放數(shù)字化館藏檔案，單個文件幾十個kB，2014年提高精度后單個文件200～300kB，截至2023年年底已超過2億個文件。待接入文書檔案、專業(yè)檔案（音視頻檔案）、脫貧攻堅檔案、防疫檔案、國有企業(yè)退休職工人事檔案、一網通辦檔案、立檔單位檔案后，總體數(shù)據量預計將超過500TB，遠遠超過現(xiàn)有可用容量。檔案數(shù)字資源的數(shù)量呈指數(shù)激增，需要更多形式和數(shù)量的存儲設備，如何存儲如此龐大的數(shù)據是檔案部門面臨的問題。
二是現(xiàn)有檔案數(shù)字資源存儲備份介質不能滿足長期保存要求。從調研情況看，目前上海市檔案館和各個區(qū)級檔案館使用的存儲備份介質主要是硬磁盤和磁帶。硬磁盤用于檔案數(shù)字資源的在線存儲和在線備份，磁帶用于檔案數(shù)字資源的離線備份。但是，硬磁盤的壽命一般為5年左右，磁帶的壽命在10年左右�，F(xiàn)有的存儲備份介質的壽命與檔案數(shù)字資源長期保存的期限（數(shù)十年到上百年，甚至永久）相差甚遠，存儲備份介質本身并無法滿足檔案數(shù)字資源長期保存的要求，且存儲介質已經使用多年，數(shù)據丟失的風險將大大增加。
三是軟硬件技術快速更新迭代使檔案數(shù)字資源識讀面臨無法閱讀的風險。檔案數(shù)字資源的識讀依賴于合適的軟硬件環(huán)境，技術不斷發(fā)展，軟硬件更新升級迅速，檔案數(shù)字資源的存儲格式又具有多樣性和易變性，檔案數(shù)字資源往往和格式、軟件、硬件捆綁在一起，即使存儲介質完好，軟件的技術過時也會造成許多舊的硬件設備無法與新的軟硬件系統(tǒng)環(huán)境兼容，這就造成了一些檔案數(shù)字資源的不可識讀。設備老化和技術的頻繁更新，給檔案數(shù)字資源長期保存帶來的問題，比載體壽命帶來的問題更為嚴重。據調研了解，已有個別檔案信息出現(xiàn)了因軟硬件技術更迭問題而無法讀取的情況。由于檔案數(shù)字資源包含大量國家秘密和重要敏感信息，涉及政治、經濟、文化、科技、軍事等各個方面，一旦這些數(shù)據遭到破壞或丟失，將給國家及檔案事業(yè)帶來難以估量且無法彌補的損失。
四是庫房環(huán)境條件和控制水平良莠不齊亟待改善。國家對保存檔案數(shù)字資源的庫房環(huán)境等制定了相關的標準規(guī)定。根據《檔案館建筑設計規(guī)范》（JGJ 252000）相關規(guī)定，一般檔案庫房的溫度為14～24℃，相對濕度為45%～60%。相比于傳統(tǒng)的紙質檔案，檔案數(shù)字資源的存儲介質有著更為苛刻的溫、濕度要求，此外還有防火、防潮、防磁、防塵、防紫外線、防有害氣體、防有害微生物等要求。通過實地調研發(fā)現(xiàn)，大多數(shù)檔案部門有保存檔案數(shù)字資源的專用庫房并采用防磁柜，但仍有一部分檔案館由于資金有限，沒有條件建立專門的檔案數(shù)字資源存儲庫房，將檔案數(shù)字資源存儲介質與紙質檔案并存，不利于檔案數(shù)字資源的保管保存。
五是檔案數(shù)字資源長期保存維護量大、成本高。由于現(xiàn)有的硬磁盤、磁帶等存儲備份介質的壽命不符合長期保存的要求，因此在檔案數(shù)字資源長期保存過程中需要不斷對存儲介質進行檢測，對存儲數(shù)據進行遷移等，數(shù)據維護的工作量非常大。存儲設備達到保存期限后，要對設備進行升級、換代，需要重復投入大量的設備采購成本，再加上運維人工成本，設備運轉所需的電力資源成本，總的加起來需要投入的成本非常高。
六是檔案數(shù)字資源遇到丟失、損壞等情況難以及時發(fā)現(xiàn)。檔案數(shù)字資源具有易修改、易刪除的特點，并且修改、刪除之后也不容易被發(fā)現(xiàn)。在檔案數(shù)字資源長期保存過程中，由于病毒入侵、黑客攻擊極有可能遭到非法篡改和惡意破壞，由于人為操作失誤造成數(shù)據丟失，由于設備的故障造成數(shù)據損壞。在現(xiàn)有長期保存管理模式下，由于缺乏定期的檢測機制，這些現(xiàn)象的發(fā)生并不能被及時發(fā)現(xiàn)，可能給檔案管理部門帶來無法估量的損失。
七是檔案數(shù)字資源異質備份規(guī)范標準尚未納入計劃規(guī)劃范疇。實現(xiàn)重要檔案異質備份是檔案數(shù)字資源長期保存的一項非常重要的工作。最新發(fā)布的《中華人民共和國檔案法》明確電子檔案與傳統(tǒng)載體檔案具有同等效力，可以以電子形式作為憑證使用，電子文件單套歸檔和電子檔案單套管理將成為今后發(fā)展趨勢。在單套制管理背景下，如何實現(xiàn)重要檔案異質備份一直是困擾檔案部門的問題。把電子檔案全部打印成紙質檔案進行異質保存顯然不現(xiàn)實，既不經濟也不便于管理。因此，在檔案數(shù)字資源長期保存的規(guī)劃中，檔案數(shù)字資源異質備份的問題也必須統(tǒng)籌考慮。
八是受核心技術被國外壟斷制約檔案數(shù)據存儲安全隱患持續(xù)存在。目前，磁盤、磁帶、光盤等存儲介質的核心技術多由外國公司掌握，導致各地檔案部門使用的存儲設備和對應的軟件系統(tǒng)多為國外品牌。藍光光盤和磁帶的相關組織和標準，也由國外行業(yè)牽頭成立與制定。技術上的不可控使存儲信息的保密性和安全性受到了嚴重威脅。在這種國際局勢復雜多變、關鍵核心技術受制于人的背景下，一旦爆發(fā)大規(guī)模技術封鎖，我國檔案數(shù)據可能會出現(xiàn)存量數(shù)據無法讀取、增量數(shù)據無處可存的風險。
針對上述存在的問題，我們提出了以下十個方面的解決措施和實施方案。
一是謀劃搭建總體框架。按照《數(shù)字檔案館建設指南》和《數(shù)字檔案館系統(tǒng)測試辦法》中的數(shù)字檔案館系統(tǒng)測試指標表的要求，數(shù)字檔案館建設應建立檔案接收庫、檔案管理庫、檔案利用庫和長期保存庫。上海市檔案館建立檔案數(shù)字資源長期保存庫，實現(xiàn)和現(xiàn)有檔案核心資源庫（管理庫）的物理分離。按照數(shù)字檔案在線、離線、多套、異質、異地備份的要求，有序開展備份工作。檔案數(shù)字資源長期保存庫通過搭建專業(yè)化的備份環(huán)境，配置智能化的數(shù)字檔案備份載體和設備，建立完善的備份策略，提供安全、可靠、經濟、便捷的數(shù)字檔案備份服務�？傮w框架自底向上分為三層：①搭建專業(yè)化的物理環(huán)境，根據需要選擇磁盤、磁帶、光盤、膠片等各類存儲備份介質，按照檔案庫房十防要求，建設長期保存庫的硬件環(huán)境。②配置各種存放不同特性存儲介質的保管設備；由于存儲介質本身的不可直讀特性，還需配置各種存儲介質的讀取設備。③搭配完善的備份策略，按照檔案長期保存的要求，提供檔案長期保存過程中的自動備份、定期巡檢、自動盤點等功能，實現(xiàn)對備份數(shù)字檔案的全方位、智能化管理。
二是構造備份管理系統(tǒng)。備份管理系統(tǒng)基于OAIS模型，實現(xiàn)對備份的數(shù)字檔案和備份載體的統(tǒng)一信息化管理，包括數(shù)據可視化展示、存儲備份介質管理、數(shù)字檔案長期保存管理、系統(tǒng)管理等功能模塊。①實現(xiàn)數(shù)據可視化。與備份中心各類智能設備集成，獲取設備信息和環(huán)境信息，并對備份中心的設備、存儲介質、數(shù)據、環(huán)境、預警等信息進行展示。②實現(xiàn)出入庫、定期檢測管理。提供出入庫信息登記功能，包括單位名稱、存儲備份介質信息、備份數(shù)據介紹、出入庫日期、存放位置、交接人等信息。對各類存儲備份介質進行定期檢測，確保存儲備份介質長期可用，也便于發(fā)現(xiàn)問題并及時將舊存儲介質中存儲的數(shù)據遷移到新存儲介質中。③實現(xiàn)智能巡檢、數(shù)據恢復、轉換遷移。自動完成數(shù)據巡檢，生成巡檢報告。當數(shù)據出現(xiàn)異常時，系統(tǒng)提供數(shù)據恢復功能，可自動從其他存儲備份介質中恢復數(shù)據。可對系統(tǒng)中支持的各類預警進行設置，并對系統(tǒng)運行過程中產生的預警進行管理，全程記錄預警處理過程、預警自動進行格式轉換或者存儲介質遷移。
三是優(yōu)選存儲介質與存儲設備�？傮w來說，作為檔案數(shù)字資源長期保存的存儲介質，不管是磁盤、磁帶，還是光盤，都有其缺陷，都存在安全隱患，比如受高溫、高濕、灰塵、電磁干擾、機械外力等環(huán)境的影響，或者本身材質損壞，信息都將無法讀取，軟硬件技術更新和設備老化同樣會造成數(shù)字信息無法讀取。另外，計算機病毒、黑客攻擊等也會造成信息丟失。因此，在最好的技術還沒有出現(xiàn)前，只能選擇目前來說最適合自身實際的檔案數(shù)字資源存儲介質。比如藍光光盤庫。藍光光盤庫是一種以藍光光盤或光盤匣為存儲介質的具有高可靠性的海量數(shù)據近線存儲設備，其通過機械手自動精確定位、抓取光盤，從而實現(xiàn)對光盤的自動化管理。藍光光盤庫一般由藍光光盤、自動換盤機械手和藍光光驅三部分組成。光盤庫可以實現(xiàn)近線/離線存儲，并具有很好的尋址能力；由于光存儲介質的生命周期很長，因此，數(shù)據的保存時間越長，它的總體擁有成本越低；光存儲介質一次性寫入，不能修改和刪除，抗電磁干擾，存放環(huán)境要求低，存儲數(shù)據的安全性高。國家標準《磁光電混合存儲系統(tǒng)通用規(guī)范》（GB/T 417852022）已正式發(fā)布，將推進光磁庫產品更加的規(guī)范化、標準化。硬磁盤因其大容量、運行速度快、性價比高等優(yōu)點，常選為在線備份的存儲介質，可將所有數(shù)據都存儲在硬磁盤上，當需要對數(shù)據進行查詢或者出庫時，可以快速地響應。檔案級藍光光盤因其使用壽命長、穩(wěn)定性好、不可篡改的優(yōu)點以及響應速度較慢的缺點，選為近線/離線存儲備份介質，將所有數(shù)據在藍光光盤上進行近線/離線備份。中長期規(guī)劃采用磁光膠融合的存儲介質選擇策略，在選用硬磁盤和藍光光盤的前提下，選擇數(shù)字膠片作為長期存儲介質。
四是實施多套備份策略。按照檔案管理要求的異地、異質、離線備份要求，基于硬磁盤、磁帶、藍光光盤、膠片不同存儲介質的特點，建議采用4-3-2-1備份策略，實現(xiàn)檔案數(shù)字資源的多套備份：4套數(shù)據（1套在線、1套近線、1套異地、1套異質），3種存儲介質（磁盤、光盤/磁帶、膠片），2套離線（光盤/磁帶1套、膠片1套），1套異地（光盤）。需要說明的是，一套膠片異質備份，由于備份制作成本較高，基于性價比的綜合考慮沒有必要針對全部數(shù)據，只是針對珍貴的、重要的、價值較高的檔案數(shù)字資源。
五是實施備份更新策略。由于檔案管理庫對應的檔案信息系統(tǒng)一般都已經建立了完善的數(shù)據級和系統(tǒng)級備份策略，基于備份軟件定期地開展數(shù)據備份、系統(tǒng)備份等，總的來說已經具備了較好的數(shù)據安全性。因此，檔案管理庫中更新的檔案數(shù)據，可以根據數(shù)據更新的頻繁程度，按每月/每季度/每半年/每年一次將其更新至長期保存庫中。數(shù)據進入長期保存庫后，再按照4-3-2-1備份策略，利用不同的存儲介質，制作多套備份數(shù)據，實現(xiàn)異地、異質、離線備份。
六是實施數(shù)據恢復策略。在檔案數(shù)字資源長期保存過程中，有可能因為各種原因導致數(shù)據丟失、損壞等。這時，我們首先從長期保存庫中的在線備份進行數(shù)據恢復，如果在線備份數(shù)據完好，則將需要恢復的數(shù)據打包、出庫，恢復至檔案管理庫中；如果在線備份數(shù)據也出現(xiàn)問題，則需要從離線備份數(shù)據恢復，從離線備份中將數(shù)據首先恢復到在線備份數(shù)據中，再從在線備份數(shù)據恢復至檔案管理庫中；如果遇到極端情況，離線備份數(shù)據也壞了，則需要從異質備份數(shù)據或者異地備份數(shù)據中將數(shù)據先恢復至在線備份數(shù)據中，再恢復至檔案管理庫中。當長期保存庫中的各類存儲備份介質在定期檢測中發(fā)現(xiàn)問題時，需要及時從其他備份數(shù)據中進行數(shù)據恢復。在線備份數(shù)據出現(xiàn)問題，首先從離線備份數(shù)據中恢復；離線備份數(shù)據出現(xiàn)問題，馬上再制作一套離線數(shù)據；在線備份數(shù)據和離線備份數(shù)據同時出現(xiàn)問題，則從異質備份數(shù)據或異地備份數(shù)據中恢復。
七是實施存儲介質遷移策略。《電子檔案管理基本術語》（DA/T 582014）中對遷移進行了如下定義：在不改變文件格式的前提下，將電子檔案由一種軟硬件配置轉移到另一種軟硬件配置的過程。從定義中可以看出，遷移包括數(shù)據遷移、系統(tǒng)遷移、存儲介質遷移。這里說的遷移主要是指存儲介質遷移，就是在相同存儲介質或者不同存儲介質之間的數(shù)據拷貝，防止因為存儲介質性能變化而導致數(shù)據丟失。在長期保存技術中，也將這種存儲介質之間數(shù)據拷貝稱為更新。通過對存儲介質耐久性研究可以得知，硬磁盤的保存壽命大約為10年，硬磁盤上的數(shù)據要實現(xiàn)長期保存，必須每隔一定的周期就對硬磁盤上的數(shù)據進行遷移操作；檔案級藍光光盤的保存壽命為30年，在長期保存過程中也需要定期進行遷移操作確保長期安全保存。
八是實施格式轉換策略。將檔案數(shù)字資源轉換成符合長期保存要求的格式也是實現(xiàn)檔案數(shù)字資源長期保存的非常重要的技術手段。一般來說，格式轉換的原因主要有三類：第一類，將原始格式向符合長期保存要求的格式轉換。檔案數(shù)字資源產生時文件格式可能不符合長期保存的要求，為了確保檔案數(shù)字資源的長期保存，檔案數(shù)字資源進入長期保存庫之前就應執(zhí)行格式轉換操作，將檔案數(shù)字資源轉換成符合長期保存要求的格式。《版式電子文件長期保存格式需求》（DA/T 472009）中給出了版式電子文件長期保存格式應滿足的十一項需求：格式開放、不綁定軟硬件、文件自包含、格式自描述、顯示一致性、持續(xù)可解釋、穩(wěn)健、可轉換、利于存儲、支持技術認證機制、易于利用�！峨娮游募�歸檔與電子檔案管理規(guī)范》（GB/T 188942016）中要求照片類電子文件以JPG、TIF等格式歸檔，錄音類電子文件以WAV、MP3等格式歸檔，錄像類電子文件以MPG、MP4、FLV、AVI等格式歸檔。第二類，由于技術更新導致原有格式面臨淘汰。檔案數(shù)字資源大多是以某種編碼形式存在的，其讀取需要依靠計算機軟硬件環(huán)境。雖然長期保存的檔案數(shù)字資源已經轉換成了符合長期保存要求的格式，但是由于技術的飛速發(fā)展，無法確保幾十年后該格式依然適合長期保存。當這些格式被廢棄或者取代后，以這些格式保存的檔案數(shù)字資源將面臨無法讀取的風險。并且在目前已知的技術更新頻率下，技術淘汰給檔案數(shù)字資源帶來的威脅遠遠大于存儲介質的損壞給其帶來的挑戰(zhàn)。因此，在長期保存過程中，要時刻關注技術更新，當某些格式即將面臨淘汰時，要及時地進行格式轉換，向更高級的版本或者更適合長期保存的格式轉換。第三類，國家安全戰(zhàn)略要求向自主可控格式轉換。檔案數(shù)字資源長期保存同樣也要考慮信創(chuàng)背景下自主可控格式轉換的情況。比如檔案館大量存在的PDF文件，將來可能需要轉換成自主可控的OFD格式。
九是建設電子檔案庫房。由于電子文件易修改、環(huán)境依賴、存儲介質可分離等特性，單一的存儲備份介質顯然無法滿足電子檔案長期安全保存的需要，比較切實可行的措施是采用不同存儲介質多套備份組合的方式來確保檔案數(shù)據安全。因此，電子檔案庫房實際保存的是存儲電子檔案的物理載體，比如磁盤、光盤、磁帶、膠片等。另外，由于存儲介質本身的不可直讀特性，還需要配置各種讀取設備；由于各種存儲介質的保管條件要求不同，還需要配置各種存放不同特性存儲介質的保管設備，這些存儲介質讀取和保管設備統(tǒng)稱電子檔案庫房裝具。電子檔案庫房應嚴格落實檔案安全保護要求，確保按照防火、防盜、防水、防潮、防塵、防光、防蟲、防鼠、防高溫、防污染等要求建設，讓電子檔案存放更安全。
十是形成完善制度辦法。為加強數(shù)字檔案信息安全管理，形成完善多套管理制度和規(guī)范辦法，主要有計算機系統(tǒng)安全管理制度、計算機網絡安全管理制度、計算機及相關設備安全管理制度、計算機主機房安全管理制度、存儲介質安全管理制度、數(shù)據備份同步與恢復管理制度、信息分類分級標識管理制度、信息系統(tǒng)數(shù)據安全管理制度、數(shù)據維護操作管理制度、信息系統(tǒng)涉密人員管理制度、信息安全保密員制度、計算機終端外設設備移動存儲介質安全保密檢查制度、計算機病毒防范管理規(guī)范等。其間開展了《上海市檔案局數(shù)據應急恢復測試》演練并形成報告。
我們的研究和應用仍然是初步的。本專著是在國家檔案局立項科研項目數(shù)字檔案儲存介質耐久性及長期保存策略研究研究成果基礎上深化調研擴充而形成的。本課題研究團隊主要人員是肖林、龍凌云、張建明、楊安榮、徐穎珺、常亞杰、單良、夏廣平、路斌、程望遠，由我主持研究和撰著。
本課題研究和撰著基本完成后，我牽頭又開展了一系列應用性的調研并形成了調研報告，該調研報告的主要內容，是為序。

2024年5月