“杨万里湴塘老家旧屋一栋，仅避风雨，三世无增饰”。从这一历史记载中可见杨万里住宅简陋破旧，生活清贫朴素。杨万里的父亲杨芾以教书为业。杨万里七岁丧母，随父亲长期在外，故里没有房子。杨万里也曾感叹地说：“我少也贱，无庐于乡，流离之悲，我，岂无肠。”

宋绍兴二十六年（1156），杨万里任赣州司户参军，三年为官省吃俭用积蓄了一笔钱，再加上他父亲多年教书的积攒，终于在绍兴二十八年任满后，回到故里筑宅南溪北崖。杨万里在宅旁植有罗汉松一棵。杨万里的住宅是“采橼土皆如田舍翁”的普通民宅，为两倒水的砖木结构四合房，长约12米，宽13米，进深11.2米，墙厚0.32米，平檐单垛，垛上飞檐仰天昂起。青砖砌墙，大排山天顶，通高7米。由石灰、细粗石、黄土砌成的土筑墙，楼面上部青砖砌成，屋面清一色灰瓦，朴实素雅。墙体内木架结构分两层，上层藏物，下层住人。砖砌窗棂，以猫身为大小。品字形厅堂居于中央、卧室分至左右。厅大房小，厅明房暗，为前后厅堂靠天窗（天窗筑在大门之上）的缘故。院子里有天窗有倒厅。大门开向东南角，恰与“坎宅巽门”的风水理论相吻合。门楣、屋檐有简单堆塑、彩绘。门柱、门棂、柱础、木枋头、雀替、天花板有朴素、大方、简单的花卉木刻，光宗题的“诚斋”二字，悬挂在大厅上。杨万里一住就是几十年，且“三世无增饰”，也就是说杨万里的父亲、杨万里自己、儿子杨长儒都未曾装修、扩建过。他们将俸钱赈济人民，却不肯用于装修自己的房屋。《鹤林玉露》载：“诚斋将漕江东，有俸给仅万缗留库中，弃之而归。东山(杨长儒字)师五羊（广州）以俸钱七千缗代下户输租”。可见杨万里父子为官清正廉洁，心系普通百姓。