國立中央圖書館是民國政府教育部1933年正式開始籌備的國家級圖書館。

1933年4月21日，國立中央圖書館籌備處正式成立，蔣復璁被任命為籌備處主任。籌備處租賃了南京沙塘園民房為辦公地點，1936年遷往珍珠河畔的成賢街48號院落內(nèi)，這年9月1日，對外開放閱覽室。

1937年8月，因日軍轟炸，籌備處奉命西遷重慶。準備“以身殉書”的蔣復璁親自押運，一路上沿著長江流徙，每駐一地便設立辦事處，開放閱覽，儼然一所流浪的圖書館。1938年初，籌備處抵達重慶，隨即開設參考閱覽室。次年3月，又疏散到四川江津白沙鎮(zhèn)，并在鎮(zhèn)上設民眾閱覽室。1940年8月1日，中央圖書館正式成立，次年六月，蔣復璁被任命為館長。

抗戰(zhàn)期間，鄭振鐸等愛國人士冒著生命危險，在已淪陷的上海收購了10余萬冊流落在書肆的珍本文獻。

抗戰(zhàn)勝利后的第二年，中央圖書館返回南京成賢街。收回了舊存南京的部分書籍，并接收了日偽機關及上海東亞同文書院等處的圖書，同時還接收了位于頤和路2號的“澤存書庫”及其珍藏古籍。此時中央圖書館的藏書已達120多萬冊。不久便恢復開放閱覽室，并在澤存書庫舊址開辟北城閱覽室。1947年，在成賢街院內(nèi)建成一座三層閱覽樓，這也是國立中央圖書館保留至今的唯一建筑。

1948年冬，國立中央圖書館部分人員奉命挑選了包括澤存書庫全部善本在內(nèi)的13萬余冊珍本，分三批搭艦船運往臺灣，蔣復璁、屈萬里等人隨去臺灣。

1950年3月，國立中央圖書館更名為南京圖書館。著名歷史學家賀昌群擔任了改朝換代后的第一任館長。于2011年12月國立中央圖書館舊址被列為江蘇省文物保護單位。