现实对辛弃疾是残酷的。他虽有出色的才干，但他的豪迈倔强的性格和执着北伐的热情，却使他难以在官场上立足。另外，“归正人”的尴尬身份也阻拦了他仕途的发展。使他的官职最高为从四品龙图阁待制。淳熙七年（1180年），41岁的辛弃疾再次任隆兴（南昌）知府兼江西安抚使时，拟在上饶建园林式的庄园，安置家人定居。淳熙八年（1181年）春，开工兴建带湖新居和庄园。他根据带湖四周的地形地势，亲自设计了“高处建舍，低处辟田”的庄园格局，并对家人说：“人生在勤，当以力田为先。”因此，他把带湖庄园取名为“稼轩”，并以此自号“稼轩居士”。并且他也意识到自己“刚拙自信，年来不为众人所容”（《论盗贼札子》），所以早已做好了归隐的准备。果然，同年十一月，由于受弹劾，官职被罢，带湖新居正好落成，辛弃疾回到上饶，开始了他中年以后的闲居生活。此后二十年间，他除了有两年一度出任福建提点刑狱和福建安抚使外，大部分时间都在乡闲居。

　　淳熙十五年（1188年）冬，其友陈亮从故乡浙江永康专程拜访辛弃疾，两人于铅山（yán shān）长歌互答，称第二次鹅湖之会——辛陈之晤；鹅湖之会后又陆续出山两次做官。

人生起落
　　绍熙五年（1194年）夏，辛弃疾又被罢官回上饶，住在瓢泉，动工建新居，经营瓢泉庄园，决意“便此地、结吾庐，待学渊明，更手种、门前五柳”。庆元二年（1195年）春，瓢泉园林式庄园建成。

　　庆元二年（1196年）夏，带湖庄园失火，辛弃疾举家移居瓢泉。同年秋，辛弃疾生平所有的各种名衔全部被朝廷削夺得干干净净，在瓢泉过着游山逛水、饮酒赋诗、闲云野鹤的村居生活。瓢泉田园的恬静和期思村民的质朴使辛弃疾深为所动，灵感翻飞而歌之，写下了大量描写瓢泉四时风光、世情民俗和园林风物、遣兴抒怀的诗词。《临江仙·戏为期思詹老寿》、《浣溪沙·父老争言雨水匀》、《玉楼春戏赋云山》等等，都是辛词中描写瓢泉村居生活的代表作。“青山意气峥嵘，似为我归来妩媚生”（《沁园春·再到期思卜筑》）：“我见青山多妩媚，料青山、见我应如是。情与貌，略相似”（《贺新郎·邑中园亭》）。这些词句表现了辛弃疾对瓢泉山水风物一往情深。