退思园，建于清光绪十一年至十三年（公元1885-1887年）。园主任兰生，字畹香，号南云。光绪十年（公元1884年），内阁学士周德润勋任兰生盘踞利津、营私肥已。光绪十一年（公元1885年）正月，解任候处分，旋因查所勋都不实，部议革职位。任兰生落职回乡，花十万两银子建造宅园，取名“退思”。其弟任艾生哭兄诗有“题取退思期补过，平泉草木漫同看”之句，可见园名取《左传》“进思尽忠，退思补过”之意。退思园的设计者袁龙，字东篱，诗文书画皆通。他根据江南水乡特点，因地制宜，精巧构思，历时两年建成此园。园占地仅九亩八分，既间朴无华，又素静淡雅，具晚清江南园林建筑风格。
退思园布局独特，亭、台、楼、阁、廊、坊、桥、榭、厅、堂、房、轩,一应俱全，并以池为中心，诸建筑如浮水上。格局紧凑自然，结合植物配置，点缀四时景色，给人以清澈、幽静、名郎之感。退思园因地形所限，更因园主不愿露富，建筑格局突破常规，改纵向为横向，自西向东，西为宅，中为庭，东为园。宅分外宅、内宅，外宅有轿厅、花厅、正厅三进。轿厅、花厅为一般作接客停轿所用，遇婚嫁喜事、祭祖典礼或贵宾来临之时，则开正厅，以示隆重。正厅两侧原有“钦赐内阁学士、”“凤颍六泗兵备道”、“肃静”、“回避”四块执事牌，重门洞开，庄重肃穆，令人望而却步。
