舊上海市圖書館位于黑山路181號，采用的是現代建筑與中國建筑之混合式樣。處于行政中心南北主軸線上位于府前右路與府南有路之間，座西向東，與博物館相對。平面為“工”字型，前部兩端橫展向前突出，與午門相似。總面積3，470平方米，而且還為將來留有擴建余地，容量可增加一倍。

圖書館中央正面設計了門樓，屋脊最高處約25米。一層中央為入口大廳，依次是報紙閱覽室，書庫，左翼為辦公室，右翼為兒童圖書室，演講廳。二層為閱覽室、借書室和目錄室。左右翼為研究室和特別閱覽室。二層中央前部上有夾層，為儲藏室，由此可通過露天階梯登門樓。圖書館在設計上防傳統(tǒng)門樓，在平頂的兩層建筑上，設置“中國固有形式”的重檐歇山門樓。左右對稱，具有新古典主義縱橫三段式構圖的特征。室內采取紅柱、彩畫的傳統(tǒng)風格。

舊上海市立圖書館是區(qū)級文物保護單位文物保護單位。2014列為市級文物保護單位文物保護單位。