入朝被诬
　　刘义隆即位后，政局起了变化，谢灵运的政敌徐羡之、傅亮先后伏诛。元嘉三年(426)三月，太祖征为秘书监，“再召不起，上使光禄大夫范泰与灵运书敦奖之，乃出就职。”这才离乡北上，经丹徒，谒庐陵王墓，再进京任职，时间为元嘉三年秋。“既至，文帝(即太祖刘义隆)唯以文义见接，每侍上宴，谈赏而已……灵运意不平，多称疾不朝直……出郭游行，或一日百六七十里，经旬不归，既无表闻，又不请急，上不欲伤大臣，讽旨令自解。灵运上表陈疾，上赐假东归。元嘉五年(428)春至八年(431)春，灵运第二次回始宁隐居，也是三年。“灵运既东归，与族弟惠连、东海何长瑜、颖川荀雍、泰山羊浚之以文章赏会，共为山泽之游，时人谓之四友。''这时期主要作品有《入东道路》、《登临海峤初发强中》、《酬从弟惠连》，《登石门最高顶》、《石门岩上宿》等。这次回乡，谢与会稽太守孟顗不和直至发生冲突。“孟事佛精恳，而为灵运所轻。尝谓顗日：得道应需慧业，丈人升天当在灵运前，成佛必在灵运后。顗深恨此言。”“会稽东郭有回踵湖，灵运求决以为田，太祖令州郡履行，此湖去郭近，水物所出百姓惜之，顗坚守不与。灵运既不得回踵，又求始宁坯嶂湖为田，岩又固执。灵运谓顗非存利民，正虑决湖多害生命，言论毁伤之，与顗遂构仇隙。”于是顗一而上疏文帝(即太祖)，谓灵运有“异志”，一面如临大敌，发兵自防。灵运获知，急驰京都，上表文帝自辩。文帝知其被诬，不加罪，也没让他回始宁。灵运暂住京中，元嘉八年(431)冬被派往临川任内史。从此，灵运再也没有回过故乡。

扩建始宁庄园
　　始宁庄园为谢家几代经营所成。今上虞上浦乡东山有谢安(玄从叔)故居及墓葬，山顶有国庆院、谢公调马路、白云明月二堂。谢玄、谢瑍在始宁有故宅及墅。今嵊州东北江东乡、幸福乡之间有车骑山。“晋车骑将军谢玄为会稽内史，尝于此山立楼居止，后人因以为名。据道元" href="http://www.youmowan.cn/shiren/9229.html">郦道元《水经注》载：“崤山东北太康湖，晋车骑将军谢玄旧居所在。右滨长江，左傍连山，平陵修通，澄湖远镜，于江曲起楼，楼侧悉是桐梓，森耸可爱，居民号为桐亭楼。楼两而临江，尽升眺之趣。舟人渔子，泛滥满焉。湖中筑路，东出趋山，路甚平直。山有三精舍，高甍凌云，垂檐带空，俯眺平林，烟杳在下。江有琵琶圻，临江有石床，名钓鱼台。”