本館於日治時期「臺灣總督府臺北師範學校」即有圖書室。戰後本校改制為「臺灣省立臺北師範學校」,民國50年改制為「臺灣省立臺北師範專科學校」,當時圖書館為隸屬教務處之二級單位,至民國52年1月21日圖書館舊館啟用始有獨立館舍。民國76年本校改制為「臺灣省立臺北師範學院」後,圖書館升格為一級單位,組織擴增為採購、編目、閱覽和典藏4組;民國78年6月現館舍落成啟用;民國80年本校改隸教育部,更名為「國立臺北師範學院」;民國82年圖書館組織新增系統資訊組,調整為5組;民國86年採購、編目合併為採編組,另新增期刊組,仍為5組;民國94年本校升格改制為「國立臺北教育大學」,視聽中心併入圖書館,更名為視聽教育組,圖書館組織增為6組。民國100年參照圖書館自評委員建議與因應趨勢進行組織整併及更名,採編組、期刊組仍維持原組名與業務、閱覽組維持原業務更名為推廣組、典藏組維持原業務更名為典閱組,系統資訊組及視聽教育組整併為資訊資源組,其業務內容包括系統管理、圖書相關之數位化設備服務,以及綜合行政業務,圖書館組織調整為5組。
圖書館現有館舍為民國78年6月落成遷入,為一7層樓建築,全館可用面積約1,750坪。本館各樓層隨著圖書資訊型態改變,逐年申請經費調整及充實館內設施,以符合讀者閱聽需求,館舍各樓層配置現況為:1樓創意未來學習中心,該中心之高互動學習區可作為師生互動式教學使用、報紙現刊區及開放學習討論空間;2樓兒童少年讀物區及論文區;3樓芳蘭書房,陳列本校近年出版品及本校教師優良著作,並不定期舉辦展覽;4樓為多媒體資源區,除提供國內外小學課程教材,以因應教材準備及教育學理應用需要,亦設置個人、雙人、多人聆賞座與配置環繞音響的團體欣賞室;另規劃有70吋互動觸控螢幕的討論室及資源推廣室;5-7樓為書庫暨閱覽區,每個樓層專屬的色彩,兼具辨識與美觀視覺效果。