國學大師錢穆生前居所原名「素書樓」。「素書樓」，原為錢穆先生及夫人自港返台選擇隱居終老之處。民國五十六年，錢先生以一代儒宗地位，在政府禮賢下士、多次懇邀之下，翩然來台覓地建屋，得外雙溪今址。素書樓內的一磚一石、一草一木都是主人多年的心血，夾步道而迎的楓樹、房舍後方挺立的竹子，庭園裡的茶花等更是夫人親手植栽。
　「素書樓」命名源於錢先生無錫七房橋五世同堂之故居，母親居所「素書堂」，為紀念母親生養之恩而命名。錢先生在其間講學著述不斷，成就甚高，有人在「素書樓」聽課，一聽就是二十年，由學生聽成教授後，再帶學生來聽。錢先生在課堂上總是神采飛揚，讓聽者感受到中國文化之博大精深，並深受感動，也難怪先生的講堂每每座無虛席。
　居住二十二年後，先生以九十六高齡遷出，另覓居所，不幸在數月後滆然辭世。自主人遷出「素書樓」，閒置年餘，政府遂有闢為紀念館之議。台北市立圖書館於民國八十一年元月六日正式將「素書樓」闢為紀念館。由於房舍年久失修，台北市政府於民國進行修繕工程。民國九十年十二月三十一日由台北市政府文化局委託東吳大學經營，並於民國九十一年三月二十九日重新開館。

　素書樓的客廳實為一講學廳堂，錢先生坐在餐桌侃侃而談、神采飛揚，而學生則或與錢先生共坐一桌、或坐在客廳；由於前來聽課的學生眾多，有的人甚至得用站的，但不論坐、站著，聽課的學生往往聽得入神，而已無視於講堂狹小的空間。這個客聽是錢先生講學最重要的舞台，也是薪火相傳的最佳見證。在客廳裡立有朱子像，也懸有朱子所書「立修齊志」、「讀聖賢書」及「靜神養氣」等字軸。這些家具和字畫均由錢夫人捐贈。

　錢先生的生活十分規律，清晨起床後，在樓廊小坐片刻，便開始寫作。先生寫作時總是聚精會神、全神貫注，其間偶爾閒步，午休片刻，再繼續工作。一座座從地板到天花板的書架是一大特色，由於先生的藏書甚多，據說每層書架都有內外兩層的書，可惜的是先生已將大部分藏書贈送友人或捐贈給文化大學圖書館，然而當年書香滿室的情況當不難想像。

　錢先生與夫人相互扶持，鶼鰈情深，令人稱羨。簡單的五斗櫃及床鋪顯示出先生樸實無華的生活。本展示空間內所陳設的家具擺設是參照錢先生與夫人當年在素書樓居住的情況。