这是一个家族的奋斗史。陈郡谢家和王导王羲之他们家是乌衣巷的邻居，也是南朝可以比肩的名门望族，世代公卿。“王谢”并称，成为世族的代名词，一起见证了两晋南北朝时期世族大家的兴衰荣辱。不同的是，陈郡谢家崛起的历程更曲折，宦海沉浮的代价也更大。祖宗留下的声望是福是祸，其中冷暖后人自知。
陈郡的谢家子弟富有奋斗精神，因为他家的很低。
举凡名门望族都喜欢给自己列谱系，谢家后人发达了，祖先只能向上推到曹魏时期的典农中郎将谢缵。谢家发迹之晚可见一斑。谢缵的这个典农中郎将相当于太守级别，但是负责屯田事务的，不属于正牌的地方官职，政治地位极其一般。谢缵的儿子谢衡入晋后在国子监谋事，相继做了博士、国子祭酒，终于散骑常侍，算是坐了一辈子清水衙门的冷板凳。谢衡耐得住清贫，努力钻研业务，成为一代大儒。
在“本朝历史从何时算起”、一夫多妻家庭的儿子是否应该为非亲生母亲服丧等问题上，谢衡提出了许多理论意见。他的意见很可惜地没被采纳，但被史官忠实记录了下来，让后人能够确认陈郡谢氏的早期作为。
谢衡守着一肚子学问，没能飞黄腾达，是有深刻社会原因的。因为他精通的是儒家，而当时社会盛行玄学。这就好比现代社会，大家都追捧金融、管理等显学，谢衡则醉心哲学宗教一样，虽然著作等身也难以在大学里掌握话语权。西晋经历短暂的统一后，陷入了八王之乱，社会动荡不安。人们普通追求玄而又玄的清谈，大谈宇宙人生，将儒家礼法视为迂腐的俗务。谢衡的不得意由此注定了。所以到了谢衡的儿子谢鲲长大成年后，毅然抛弃家学转学玄学，钻研老子和易经，大谈特谈云彩和人心的关系。
谢鲲的能力用对了地方，很快引起了社会注意，二十岁就跻身“名士”行列。
有的人醉心玄学是逃避乱世，有的人完全是附庸风雅将玄学作为敲门砖，谢鲲由儒入玄，不敢说没有功利的目的，但就玄学功力来说，他完全是第一等的。真正的玄学大师是精通世故又看破世事，能超然物外宠辱不惊的，用心灵指导言行。表面的清谈和悖理不羁是掩藏内在深刻和豁达的迷雾。谢鲲就不修威仪，整天唱歌鼓琴。邻居高家有个漂亮的女儿，常常在窗前织布，看得谢鲲心痒不已。谢鲲没有“检讨肮脏的思想”，而是公然去窗前向邻家女子表明爱意。郎有情来妾无意，谢鲲的率真被邻家女子看作是轻浮的挑逗，拿起织梭就向他扔去。谢鲲的两颗牙齿被扔掉了。时人笑话说：“任达不已，幼舆（谢鲲的字）折齿。”谢鲲听了也不生气。既然人家不接受那就算了，我继续逍遥率性的生活。牙齿掉了没关系，又不影响我长啸高歌。
谢鲲引起了大臣和名士们的瞩目，其中就包括王衍、嵇绍等大人物。那时候进入官场全靠领导的一句话，需要官府的征辟。谁名声大，得到大臣们的交口称赞，谁就拿到了官场入场券。这不，谢鲲被东海王司马越征辟为掾吏。可惜官运不加，因为小故被除名。长沙王司马义看不起谢鲲，曾把他抓起来要加以鞭挞。谢鲲主动解衣，要接受惩罚，没有害怕的神情。司马义只好放了他，谢鲲也没有欢喜之色，一切都平淡自如。谢鲲屡受挫着和屈辱，反而名气更大了。士族名士们都替他感到可惜。谢鲲没有一个字的牢骚，清歌鼓琴，优哉乐哉。
一个人对名利可以荣辱不惊，但对人生和家庭责任不能不时刻保持清醒细致的认识。鼓琴高歌间，谢鲲意识到了国家大乱，北方终将沦陷。所以当东海王司马越不久再次征辟他出任参军一职时，谢鲲拖病辞职，举家迁往南方。他最先来到豫章（今江西赣北）。传说该地有座空亭，闹鬼，发生过多次杀人事件。谢鲲毅然搬到院落中居住。拂晓，有个黄衣人呼唤着谢鲲的名字，叫开门。谢鲲儋然无惧色，从门旁的窗子伸手把黄衣人用力拉了过来，挥刀砍断了他的肩胛，落了一块皮肉。仔细一看，竟然是一块鹿皮。谢鲲寻着血迹，最后消灭了鹿怪，该地从此再无妖怪了。谢家一搬再搬，谢鲲最后选定建康城里秦淮河畔朱雀桥边的乌衣巷安家，成为了乌衣巷里谢家的第一代主人。
谢鲲避祸豫章，被大名士、大将军王敦征辟为长史，有了固定的政治舞台。
王敦也是不修边幅、率性而为的名士，许多地方与谢鲲惺惺相惜，常常感叹只有和谢长史才有话说。而谢鲲也不为功名所累，说话也不看着王敦，平静而真诚地对待工作。可怕的是，谢王二人气质相同，政治观点却是相反的。王敦有不臣之心，企图叛乱擅权。谢鲲渐渐知道王敦这个人不是匡扶社稷的同道中人，开始不屑政事，集会时候从容议论，巧妙讽谏王敦，平日主要优游寄遇，与一帮名士纵酒高歌。王敦鉴于谢鲲名高望重，一直以礼相待。
王敦最终走上了叛乱的道路。他对谢鲲说：“刘隗这个奸邪，危害社稷，我要消灭君侧之恶，匡主济时，怎么样？”谢鲲回答：“刘隗的确是个祸害，但只是城狐社鼠而已。”意思是杀鸡焉用宰牛刀，用不着王大将军去打刘小老鼠。王敦骂了声“庸才”，也不问谢鲲愿意不愿意任命他为豫章太守，借助他的才望，拉着他一起兵逼建康。谢鲲被迫成为了叛军一员。
叛军进展顺利，王敦攻下要塞石头城后，狂傲地感叹：“我以后不能再和大家一起造福地方了。”意思是自己要去中央工作了，要掌国家大权了。谢鲲又泼了回冷水：“怎么会呢？只要你愿意，每天都可以。”攻下建康后，王敦问谢鲲形势和人情如何。谢鲲回答：“明公之举虽欲存社稷，但普通人未必了解您的苦心。”谢鲲还跑去皇宫拜见了司马睿，又建议王敦任用周顗、戴若思等原来的大臣。王敦不听，逮捕了周戴二人要杀头。参军王峤劝阻，王敦连王峤也要一起杀。部署畏惧不敢说话，只有谢鲲说：“明公办大事都没有杀戮一人，现在王峤提了不当的建议就要被杀，是不是用刑太过了？”王敦这才赦免了王峤。最终，王敦在世族势力的联合抵制后，退出建康。谢鲲劝他撤退后进宫拜见皇帝一次。王敦闹情绪，不愿进宫，以安全无法保证为由推脱。谢鲲再劝他，说自己入觐皇上，发现宫中秩序穆然，不会有危险，如果王敦入朝自己愿意侍从。王敦没被劝动，不朝而去。
撤退后，许多人为谢鲲的安全担心。王敦对谢鲲的确不满意，感到厌烦，打发他去豫章实任太守。谢鲲为政清廉，得到百姓的拥戴，可惜没多久就死在了任上，时年四十三岁。半年后，王敦败亡。谢鲲早死，省去了许多麻烦。更因为谢鲲在王敦叛乱期间，说了很多对朝廷有利的话，努力劝谏王敦，所以并没有被视作叛党乱匪受到处理。相反，东晋王朝追赠谢鲲为太常，追谥“康”。
至此，陈郡终于混出了有头有脸的人物。从谢鲲开始，谢家辉煌的序幕正式拉开了。
谢鲲死时，儿子谢尚才十岁出头。
一个家族在崛起时期，必然要求子孙一代超过一代。谢尚从小就有“长江后浪推前浪”的趋势，成名比父亲早，在歌舞和玄学上的造诣也比父亲要高。谢尚刚会走路，父亲谢鲲曾带他一起迎来送往。一次有客人夸奖谢尚是“当代颜回”。颜回是孙门最出色的学生，声望巨高无比。谢尚马上应声答了句：“这里没有孔子，哪里来的颜回！”一句话既表达了谦逊之情，又轻松幽默，让宾客感叹不已。在技艺方面，谢尚精通音律，擅长舞蹈和书法，史称“博综众艺”。谢尚最擅长的是“鸲鹆舞”，跳得很好，好到丞相王导曾当众要求谢尚起舞，让在座的大小臣工为他击掌为节。谢尚在桓温手下当官时，桓温知道他善于弹筝，结果谢尚理弦抚筝，因歌秋风，意气甚遒，让同样多才多艺的大名士桓温为之赞叹。
当然了，谢尚为家族博取功名利禄的利器并不是唱歌跳舞或者弹琴，而是清谈玄学。他继承了父亲的清玄风范，并且理论化，写了一篇《谈赋》，专门侃清谈，认为清谈内容“若有若无”，追求“辞简心虚”的效果。这里的“心虚”不是做了坏事害怕的意思，而是内心豁达超然物外的意思。成年的谢尚“开率颖秀，辨悟绝伦，脱略细行，不为流俗之事”，一副典型玄家名士派头。他长得一表人才，服饰华丽，满是精美的装饰。王敦的小妾宋玮在王敦败旺后辗转归了谢尚。谢尚曾问宋玮自己与王大将军比，如何？宋玮回答，王敦和谢尚相比就如同是乡下人与贵人一样。宋玮的意见代表了大众的看法，社会普遍认为谢尚“妖冶”——这词现在用在男人身上是个灾难，在东晋时则是莫大的荣耀。
当权宰相王导特别看重谢尚，将他比作王家长辈、竹林七贤之一的王戎。
有了如此之高的声望和如此地位的粉丝，谢尚的仕途一帆风顺。两晋南北朝时期，入仕靠上级征辟，年轻人们抓紧机会“养望”（培养声望，让大家知道自己）。谢尚的声望这么高，年纪轻轻就被大将军桓温征辟为官。更大的机遇还在后面，谢尚的外甥女褚蒜子成为东晋的皇后，继而是皇太后。谢尚外面有声望，朝中有后台，政治地位开始直线上升，刚过而立之年就被任命为建武将军、历阳太守，后转督江夏义阳随三郡军事、江夏相，开始威震一方。
许多东晋名士都是绣花枕头大草包，谢尚一介清谈客，能做好守土有责的大将吗？当时镇守武昌的安西将军庾翼就看不起谢尚，认为谢尚这样的清谈书生适合在安逸和平的环境中耍嘴皮子，身逢乱世只能添乱。谢尚知道地位提高身份转变对自己是个挑战，数次虚心地向庾翼咨谋军事。一次，谢尚和庾翼一起射箭。庾翼不屑地对谢尚说：“你如果能射中靶心，我就送你一支军乐队。”谢尚拉弓出箭，正中靶心。庾翼很佩服，真的把自己的军乐队送给了谢尚。在驻扎地，谢尚为政清简，不惊扰军民。刚上任时，郡府拍马屁，用四十匹布给谢尚造了一顶乌布帐。谢尚下令拆除布帐，给军士们制作衣物被褥，一下子就在军队中赢得了声誉。谢尚治政名声传到朝廷后，朝廷多次提拔谢尚，军衔官职漫天飞。
大司马桓温专政，发动北伐。谢尚顶着安西将军的名号，率军从淮南进攻河南，作为一支偏师。进军之初很顺利，前秦的张遇率军投降。可能是谢尚的名士派头和张遇的军旅作风格格不入，使得两人关系破裂。张遇降而复叛，还占据许昌与谢尚军队为敌。谢尚大军进攻，竟然被张遇杀得大败，损兵折将逃回东晋。按律，谢尚罪行很大，够不上砍头标准也得罢官为民。结果在他的外甥女皇后的干预下，谢尚仅仅是降为建威将军而已，依然在前线领兵。他的运气也实在好，北方战乱不止政权更替频繁，象征至高无上皇权的传国玉玺竟然流落到了谢尚的手中。谢尚极为重视，派铁骑三百日以继夜将玉玺送到建康。东晋王朝在建康延续晋朝国号，依然以中华正朔自居。但是东晋皇帝并没有发号施令的玉玺，被天下讽刺为“白板天子”。谢尚及时送来传国玉玺，解决了王朝的法统难题，功劳远远超过败军南逃的罪过，地位再次提升。东晋王朝实授谢尚豫州刺史，把淮南地区的防务委托给了他。
淮南地处东晋王朝核心的东南地区和战乱中的中原大地之间，连接洛阳旧都和新都建康，是南北拉锯的东部主战场。战争最容易让前线将领掌握实权，将领的地位往往随着战事水涨船高。谢尚占据并经营淮南，有了固定的地盘，承担了王朝安全重任，在东晋朝廷的地位也就不可代替了。就仿佛是一个打工者跃升成了公司的合伙人和股东，陈郡谢家此时真正进入了上流社会，不再是被动等人征辟的政治边缘家族了。更为重要的是，大司马桓温有步王敦后尘，篡位夺权的野心。桓家控制了长江中流，子弟掌握了荆州、江州、扬州等要地，控制了大部分国土。谢家控制的豫州在军事要地之外，又多了一层抗衡政治野心家的重要意义。谢尚不是东晋董事会可有可无的董事，而是关键人物了。
残酷的权力现实和沉重的政治责任并没有影响谢尚洒脱的生活态度。淮南首府寿阳城内大路旁，人们经常看到有一个中年人坐在酒楼门口的胡床上，穿着紫罗襦，抱着琵琶弹奏《大道曲》。歌声高亢，歌手陶醉，往来路人不是以为他是酒楼揽客的艺人，就是视之为行为艺术家。没有人知道他是盘踞淮南的镇西将军谢尚。谢尚和桓温的关系也很奇妙。按说他们是相互制衡的政治对手，却惺惺相惜，不像敌人倒像是知心朋友。谢尚在桓温手下当官的时候，桓温就很欣赏他。桓温北伐成功，收复洛阳后，还上疏请求让谢尚都督新收复领土，出镇洛阳。谢尚对桓温也没有恶语相向。
也许是生活过于洒脱，缺乏规律，谢尚不到五十岁，身体情况每况愈下。镇守洛阳的事情，谢尚就以疾病在身推辞了。这不是他不愿意离开老巢，而是真的病得不行了。朝廷得知谢尚病重，提升他为卫将军，加散骑常侍，召他回建康养病。谢尚没能回去，死在了历阳，时年五十岁。
谢尚之前，陈郡谢家只是一户普通土族，是他让家族暴露在闪光灯照耀之下。但在老牌大世族看来，陈郡谢家还是暴发户，他们称之为“新出门户”。在门第决定前途的社会中，在以清谈玄学相互标榜的气愤中，谢尚虽然也是玄学名家，却是依靠裙带关系和行军打仗获取实际地位的。老牌世族把这些都看作是“俗务”。大家都巴不得去归隐山林高谈阔论，你谢尚却还在官场沉浮，能不被人看低吗？真正的名门子弟应该是坐享高官厚禄，不去干活。可谢家还处于奋斗时期，不干出点名堂上提升不了地位，不缠身俗务不行。可以说，谢尚为家族的崛起承担了世人的诟病。
有一个趣闻可以看出陈郡谢家当时的地位。谢尚暴得大名，想和世族大家攀亲，就替堂弟谢石向诸葛家族提亲。这个诸葛家族就是诸葛亮他们家，早在三国时期就是名门大家了，后来随着司马睿南渡，算是“中朝显贵”在南方地位尊显。诸葛家的掌门人诸葛恢一向以名望凌人。一次，丞相王导和他谈起名门望族的排名先后，说：“人们都说王葛，为什么不说葛王呢？”诸葛恢毫不留情面地回答：“譬如说驴马，不说马驴，驴难道胜过马吗！”诸葛家的气焰可见一斑。现在诸葛恢见陈郡谢家来提亲，断然回绝：“我们这样的人家，都是有固定的世代姻亲的，我的女儿已经有人家了，可不能再和谢家结亲。”谢家讨了个没趣，谢石却对诸葛家的女儿念念不忘。等到诸葛恢死后，诸葛氏家道中落，谢家地位飞升，谢石这才娶到诸葛恢的小女儿诸葛文熊。
谢尚去世，豫州地盘不能落入桓温的手中。朝廷的看法是继续让谢家子弟都督淮南军事，作为王朝的方镇屏藩。他们选择的继位人选是谢奕。
谢奕是谢尚的堂弟。谢奕父亲谢裒，从跟随司马睿开始，基本在中央谋职，终于吏部尚书。他本人没有什么值得称道的事迹，却生下了一群日后赫赫有名的儿子：谢奕、谢据、谢安、谢万、谢石、谢铁。
谢奕为人放达，也是玄学中人，也是从桓温的幕府开始政治生涯的。他和桓温虽然是上下级，言谈举止却像是老朋友。谢奕竟然随便带块头巾，就跑到桓温家里做客，长啸吟唱，一点都不把自己当外人。桓温常说：“谢奕是我的方外司马。”谢奕酗酒，还逼着桓温陪酒。桓温酒量不行，不胜其烦，最后发展到看到醉醺醺的谢奕就跑到老婆房间里躲藏起来。桓温是驸马爷，老婆是南康公主。因为桓温工作很忙，南康公主难得见到丈夫，所以很感激谢奕，说：“如果没有谢奕这个放荡司马，我怎么能见到驸马呢！”谢奕找不到桓温，就在桓温府上随便拉人一起喝酒。年轻人跑得快，最后被谢奕抓住陪酒的都是老兵。谢奕就自嘲说：“失一老兵，得一老兵。”东晋人以当兵为耻，谢奕将桓温比作老兵，桓温为人豪放，也不生气，任由谢奕胡闹。谢奕和桓温保持了密切的感情。现在，谢奕突然被破格提拔为与桓温抗衡的藩镇，两人念及感情，依然相安无事。
谢奕在豫州刺史任上只有一年，就死了。
谢奕二弟谢据早死，三弟谢安本该出任豫州刺史。可是谢安把机会让给了四弟谢万。
朝廷任命谢万出掌淮南，在世族内部引起了轩然大波。因为谢万过于洒脱，狂妄自大，常年不理政事——这是玄学氛围要求的。怎么看他都不像是前线主帅的材料。谢安的好朋友王羲之曾经自问自答：“某人和谢安、谢万相比，谁更好？如果是谢安遇到这个问题，肯定与人为善，说自己不如某人；如果是谢万，则会因为听到这个问题，和某人怒目相争。”王羲之听到谢万的任命后，特地写信给谢万，要他收束情绪，勤勉政事。谢万根本没听进去。
桓温和谢万关系一般，却支持谢万出任豫州刺史，因为他等着谢万犯大错好收拾了谢家势力。果然上任第二年，谢万就受命与徐州方向的郗昙兵分两路，北伐前燕。谢万把北伐当作郊游，一路饮酒唱歌，一点端庄办事的样子都没有，更谈不上和将士们同仇敌忾同甘共苦了。三哥谢安千里迢迢写信劝他说：“你现在是主帅，不是可以任性生活的隐士，应该懂得率军打仗。要多和将领们交流，让大家和你同心协力。”谢万一想，交流不就是吃饭喝酒嘛，于是大摆宴席，招待众将。宴会开始，谢万自顾自吃喝得很高兴，突然觉得应该说几句话。憋了半天，谢万终于对众将说：“诸位都是劲卒。”他不想想，各位将军都是有头有脸的人，他叫大家是兵勇，在将领们听来就是讽刺和贬低了。这个饭局目的没得到，反而把部将都得罪光了。战争开始，徐州方向主将郗昙病倒，率军暂退。谢万误以为友军败了，慌忙下令后撤。豫州军队趁机一哄而散，众将各自组织撤退，结果北伐不战而败，前燕反攻占领了东晋大片土地。晋军喘息稳定后，竟然找不到主帅了。原来谢万逃得最快，早早躲到大后方去了，成为光杆将军。事后追究责任，谢万是罪魁祸首，被废为庶民。
这个处理结果还是给陈郡谢家留了面子的，没要了谢万的性命。然而谢家在淮南名声坏了，待不下去了，不可能再让谢家子弟出掌淮南军政大权了。陈郡谢家几代人努力的成果，轰然倒塌，付诸流水。谢万真是罪人，挥霍了祖父兄长几代人的奋斗的成果。谢家只能从头再来了。
谢家重新崛起的希望落在了老三谢安头上。
谢安身上有那个时代搏击政坛的雄厚资本：卓越声望。谢安四岁的时候，桓温的老爸桓彝见到谢安就喜欢不已，赞叹这个孩子“风神秀彻”，日后肯定能扬名立万。桓彝这时已经闻名天下了，桓家后来的风光很大程度上是他奠基的。幼小的谢安能得到这么大人物的赞扬，立即扬名。谢安还曾拜访过晚年王导，王大丞相对这个邻家后辈也大为赞赏，结果谢安的名声又上了一个台阶。
别人是拼命搏名养望，谢安小小年纪就名扬江左，仕途前景可谓一帆风顺。就是美妙前程即将开始的开启的时候，谢安做出了惊人的选择：隐居东山，纵情山水。我们知道，当时的绍兴东山是东晋名人隐士避世的大本营。谢安在这里认识了许多同道中人，还参加了名垂千古的兰亭集会。暮春时节曲水流觞的兰亭，谢安留下了两首诗作：“伊昔先子，有怀春游。契兹言执，寄傲林丘。森森连岭，茫茫原畴。逈霄垂雾，凝泉散流。”“相与欣佳节，率尔同褰裳。薄云罗阳景，微风翼轻航。醇醪陶丹府，兀若游羲唐。万殊混一象，安复觉彭殇。”他醉情山水，一副与世无争的样子。
两晋南朝的多数隐士，满口玄学，名声很大也不参与政治，实际上是没有处理政务的能力。正是百无一用的书生，纸上谈谈虚幻的宇宙人生还行，真的把内政军事外交摆在他们面前，玄学名气越高可能办事的结果越糟糕。谢安则少数属于稳重而超脱，有能力处理好政务却不愿意从政的人。一次，谢安与王羲之、孙绰等人出海游玩。海上突起大浪，波涛汹涌，船只有倾覆的危险。王羲之和孙绰被吓坏了，风度全无，船头船尾跑来跑去，惊慌失措，抓住人就问怎么办。谢安平静地说，大家再这么慌乱瞎闹，船没被海浪掀翻反而可能被船上的人给跑翻了，到时候大家都别想回去了。王羲之等人很惭愧，佩服谢安的沉稳宁静，有条不紊地返航，平安上岸。有些大名士嘴巴呱呱叫，却经受不了大事考验，比如王衍。谢安则能临危不乱，时刻保持头脑清醒，真正领悟了玄学虚中有定的真谛。事后，王羲之等人对谢安钦佩不已。王羲之公开说：“安石（谢安字安石）有镇国气度，我们应该举他出仕。”大名士刘恢则说：“如果安石不出山，我们就聚集天下的名士一起来推举他。”
有人花钱买官，有人矫情造势，都是为了进入官场。而官场的大门对谢安来说是早早敞开的，里面的诱惑越来越大。问题是官场对谢安狂抛橄榄枝，谢安他就是不接。司徒、亲王、吏部等反复征辟谢安走出东山来当官，更不用说那些当了官的名士来招揽谢安进入幕府了，谢安统统拒绝。朝廷觉得谢安可能是不愿意接受虚职，竟然拿出掌管全国官员考核升迁的吏部郎实职来授予谢安，谢安依然拒绝了。一直到40岁，谢安都在东山中与花鸟鱼虫为伴。
朝廷屡次被拒，感到特别没面子，干脆宣布对谢安“禁锢终身”。不想从反面对谢安的声望“火上浇油”。
魏晋多名士，而谢安可能是魏晋名士中最潇洒风流的一位。《晋书·谢安传》说时人比谢安为王导，但是谢安“文雅过之”。两人都能力出众，都沉稳持重，但王导在潇洒超脱和文人气上明显逊于谢安。就连王导的五世孙王俭多年后依然承认：“江左风流宰相，唯谢安一人而已。”
如果说谢安的东山隐居生活是完美的，那就错了。谢安的心中有隐痛。那就是责任之痛。
谢夫人刘氏试探丈夫说，一辈子当隐士也不错。谢安无奈地说，我可能不会一辈子当隐士。因为谢安的心中有强烈的责任感，有对国家社稷的责任，更有对陈郡谢家势力发展的责任。他默默关注着东晋王朝的政治走向和亲戚们的仕途命运。
谢安不想当官，所以把家族的淮南地盘让给了弟弟谢万。但振兴家族的责任感让他一直在幕后辅助谢万，出主意想办法。谢万当吴兴太守时，谢安一度在郡衙里督促弟弟从政。谢万懒散惯了，早上不能及时起床办公。谢安就每天早上叩屏风催弟弟赶紧起床。谢万后来镇守一方，恶性不改。谢安亲自拜访谢万的部将，替弟弟抚慰众人，也拜托他们协助谢万工作。谢万日后狼狈地只剩下光杆司令，部队没有哗变，其中就有谢安在谢万部队中苦心经营的结果。等到谢万被废，谢家势力落入低谷，东晋王朝北伐失败在与北方的对抗中处于下风，谢安看到国事危难，家族衰败，强烈的责任感油然而生。
家人催谢安出山复兴门户。天下名士则高呼：“斯人不出，若苍生何？”谢安不出来做官，朝廷乱局势必难以收拾。谢安成了大家的救世主。他终于在41岁的时候走出了东山。
谢安出仕的时机特别不好。一来，他年过不惑了，别人不好给这么大年纪的“新人”安排位置；二来，朝廷的禁锢令依然生效，一般的官员不敢征辟他为官。巧合的是，依然是野心家桓温给了谢安第一份工作，给了他幕府中的一个小职位。谢安接受了，在一片哗然和嘲笑中接受了。谢安放着之前清闲显要的好官不做，一大把年纪了来和年轻人抢小职位，怎么能不成为大家的笑柄。谢安默默忍受了嘲笑和不解。他知道闲适的隐居生活已经一去不返了，前方是险恶的政治漩涡，每一个漩涡都可能要了自己甚至家族的性命。玄家鄙视血腥的政治，视之为俗务。但真正看透俗世的玄学名士，一旦操持起俗务来应该得心应手，游刃有余。谢安就在充满了杀戮的官场标尺稳如泰山、淡若池水的隐士风范。这才是真正的名士！
桓温接纳谢安的心态很复杂，有同情，也有帮一把的意思。谢安出山前后，桓温势力膨胀，不断抓权，渐渐露出了篡位的狐狸尾巴。东晋君臣都对他敬畏三分。谢安在他手下办事，又要寻求仕途发展，难度之大，可想而知。他的做法是站在朝廷一边又不和桓温翻脸，处理还本职工作又不乱掺和事儿，借着桓温这条大船，凭着能力和名声逐步得到提升。
371年桓温废黜司马奕，改立司马昱为帝，并族诛了陈郡殷氏、颍川庾氏两家，操纵了东晋实权，声势如日中天。桓温的做法侵害了其他世族大家的利益。已跳到朝中为官的谢安坚定地和另两大世族——太原王氏和琅琊王氏站在一边，反对桓氏篡权，改朝换代。他们拉拢一批中小士族，形成共同抵制桓温的联盟。而谢安也在这个大趋势下，趁机与各个世族大家联姻，壮大本族力量。从此，谢家子女婚嫁基本不出大世族家庭，开始编织盘根错节的权势网络。
司马昱当了两年皇帝，也死了。桓温一度授意司马昱立下遗诏，将天下传给自己。谢安赶紧联合王坦之、王彪之等人逼简文帝改写遗诏，将政权传给儿子司马曜。王谢抓紧时间，将生米煮成熟饭，拥戴新皇帝即位。桓温得知即将到手的江山落空了，勃然大怒，率军入京“朝觐”新皇帝。桓温引兵入朝，朝野盛传此来是“诛王谢，移晋鼎”，一日数惊。
东晋朝廷没有力量阻挡桓温的军事威胁，皇上只能下令王坦之、谢安等率领百官到新亭迎接桓温。事前，王坦之手忙脚乱地跑来向谢安问计。谢安也不知道怎么办，也害怕，但平静地说：“大晋存亡，就看这一回啦。”世事本无定论，政事也一样，到时候随机应变吧。
历史上有名的“新亭风波”就此上演。一方是气势汹汹、大兵压境的桓温，一方是王坦之和谢安等朝臣，所争的就是东晋王朝的江山社稷。你把他说成“鸿门宴”也好，说成是关羽的“单刀会”也好，反正桓温在新亭摆出了吓人的阵仗，大军环列，刀甲鲜明，官兵们对朝臣怒目而视。更可怕的是，桓温拉起了许多帏帐，不用风吹起帐脚肉眼都能看到帐后密密麻麻的持械武士。朝廷上的王公大臣们平日里威风凛凛，可在武士巨阵面前威风扫地。文武百官跪拜在道路两旁，甚至连抬头看一眼桓温的勇气都没有。领头的王坦之惊得汗流浃背，紧张地连手板都拿倒了。朝臣中只有谢安面对层层重兵，用他那带有浓厚洛阳口音的“普通话”像模像样地夸奖了一番桓温的部队，然后从容地质问桓温：“有道诸侯训练甲士替朝廷防守四方，现在明公在幕后埋伏武士，唱的又是哪出戏啊？”桓温预想了许多结局，就是没料到谢安会这么直接这么坦然。好在桓温也是名士，心胸也很豁达潇洒，虽然受了谢安当头一棒，立马调整了情绪，撤去了埋伏的武士，客气地接待起谢安来。桓温也是深入玄学很深的名士，潇洒得很，现在被谢安的震惊洒脱勾引出了那潇洒脱俗的劲头来，拉着谢安就高谈阔论起来，把其他人都晾在一边。桓温的一生都在追求权力和沉溺玄学之间徘徊，犹豫不决，错过了许多揽权的机会。谢家的许多子弟明明不是一伙人，却因为风范独特得到了桓温的提携。谢安的最初舞台就是桓温提供的。现在，桓温又因为谢安的阻挠，放弃了逼宫夺权的计划，和谢安作了一场长谈之后竟然撤军了。
从此，桓温和皇帝宝座永远告别了。而谢安独得大功，几乎成了再造社稷的功臣，更因为临危不惧的名士风范，地位迅速跃升。王坦之原来名望在谢安之上，从新亭回来后声望就落在了谢安之后。
谢安的无畏抵制稳定了东晋王朝的局势，但桓温的野心依然，还在上游做着皇帝梦。撤军后，桓温大病一场，借口生病搬到建康附近的姑孰养病，派人暗示朝廷授他九锡。九锡是皇帝独享的礼器，霸占九锡礼器几乎成了历代权臣篡位前的最后一个动作。随着病情越来越重，桓温求九锡的心情也越来越强烈，直接授意文臣袁宏起草加授九锡的诏令。袁宏赶紧写好，按照程序将诏令草稿拿给中枢重臣谢安看，需要谢安的批准。谢安看完，摇摇头，对袁宏说需要修改。袁宏修改后再拿给谢安看。谢安还是不满意，两人单单在程序上就这样往来了几十天，诏令迟迟不能定稿。袁宏也算是一代文豪，后来生气了，不解地问谢安为什么老不满意。谢安默默说了一句：拖着好，拖久了问题就解决了。袁宏一下子就明白了。果然，拖到七月桓温没等到诏令就病死了。谢安不动声色，不费力就给东晋王朝绊倒了一大祸患。
司马曜的皇位是谢安等人拥立的，又是谢安巩固的，桓温死后就让谢安取代了相位。谢安顺顺当当地位极人臣，连带着陈郡谢家不仅收复了政治失地还大获其利，和各大老牌世族大家都不相上下平起平坐了。
谢安是个比桓温更能令人接受的权臣。桓温死后，谢安并没有党同伐异，大开清洗桓家势力之门，而是仿佛没事发生一样。桓温的弟弟桓冲继承了哥哥的荆州地盘。别人提醒他要和谢安争权。桓冲承认自己名望能力都在谢安之下，甘居地方藩镇，没有异心。东晋朝廷在王敦、桓温之乱后一度出现了团结稳定的局面。
谢家的地位没稳定就遭遇了巨大挑战。3年，北方前秦的苻坚倾巢而出，发兵南征，扬言要灭亡东晋统一天下。前秦大军有多少人呢？苻坚对外宣称是百万大军，只要大家都把马鞭扔到长江里就能截断江面，轻而易举走到江南溜一圈。是否真有一百万人难说，反正前秦大军攻战寿阳，前线打得轰轰烈烈的时候前秦的大部队还有从长安洛阳刚刚动身的。所以当前秦大军攻过淮河后，建康全城震动，百姓惊恐不安。东晋王朝文恬武嬉，时间久了，早丧失了勇气。他们唯一的救命稻草就是谢安。朝廷任命谢安为征讨大都督，全权负责抵抗救国。
谢安也不知道如何抵抗前秦大军，但他知道临危不惧、坦然应对的道理。平静应对总比惊慌失措要好。谢安平静地任命弟弟谢石、侄子谢玄等家人为将帅，组织前线军队作战。除此之外，谢安没有进一步举动。他这么做显然不能安抚建康的人心，除了个别人自欺欺人说谢丞相肯定胸有成竹，其他人都相信东晋王朝要完蛋了。荆州的桓冲实在看不下去，挑选了三千精锐派往京城，交给谢安调遣，以备安排朝廷逃跑的时候可以用。谢安谢绝了，说国家存亡不在于几千士兵，倒是荆州是上游重镇，更需要精兵加强防守。谢安还给桓冲传话说，一切他自有安排，桓冲好好守住长江中游就可以了。侄子谢玄被任命为前线主将，也心虚得很，跑回来问谢安怎么办。谢安一如既往的坦然，平静地说：“到时候会有旨意的。”谢玄不敢再问，托部下张玄来找谢安询问怎么办。谢安也不回答，带着张玄来到别墅。别墅里亲朋毕集，谢安拉着张玄下围棋，谢安的棋技比张玄要差，但当天张玄心里恐惧，竟然输给了谢安。战争时期，谢安经常连夜游玩，时间久了建康的人心竟然安稳了下来。谢安都不怕，成竹在胸，我们平民百姓还怕什么呢？
史载谢安在大战中只是“指授将帅，各当其任”而已。事实上，毫无军事经验的谢安这么做是正确的，总比既不懂也要瞎指挥强。果然前线的兄弟侄子大展拳脚，竟然在淝水打败前秦大军，取得了辉煌的胜利。谢玄等人大破苻坚后，快马向谢安报捷。谢安正在和客人下围棋，结果捷报看完，就放到床上，面不改色继续下棋。客人问是怎么回事，谢安慢慢回答：“晚辈们在前方打败了贼军而已。”坚持下完棋，谢安回到内室终于抑制不住狂喜的心情，过门槛的时候连鞋被碰坏了都没有发觉。
在淝水大战中，东晋以八万军队大败前秦百万大军，不仅使国家转危为安，而且促使前秦崩溃，北方大乱，局势朝着有利于南方的方向发展。东晋乘胜收复了河南、巴蜀和汉中等广大地区。朝廷为表彰功臣，封谢安为庐陵郡公，谢石为南康公，谢玄为康乐公，谢琰为望蔡公。陈郡谢家一门四公，从此尊贵无比，成为东晋顶尖的名门望族。
从东山到淝水，谢安的路程相对简单，过的是“两点一线”的生活。东山是隐逸的象征，象征着谢家的玄学风范和潇洒个性，是理想的生活；淝水是奋进的象征，象征着谢家参与政治和奋斗的历程，是现实的生活。对于东晋世族来说，两者不可偏废。陈郡谢家成功游刃于理想与现实之间，结合两者既迎合了社会舆论又解决了实际问题。然而太成功了，家族势力太昌盛了，迅速引起了皇室的猜忌。司马曜很担心谢安成为第二个桓温。谢安修身那么多年，很清楚盛极而衰、月盈则亏的道理，刚好东晋乘胜收复失地前方事务繁重，谢安就在385年主动要求离京出镇广陵，以督促前线为名行避祸之实。在广陵，谢安生病了，只好申请回京养病。朝廷高规则地派遣侍中慰劳。夏末，谢安在建康病逝，享年66岁，得以善终。死后极尽哀荣，朝廷追赐太傅，谢安史称“谢太傅”。
有人评价谢安：“他年轻时是个智者，年老时是个师者；在野时是个诗人，在朝时是个政治家和军事家；游历时是文人的核心，居家时是家族的核心，主政时是朝廷和国家的核心。仿佛那个时代正是存心为了等待谢安的到来而破败不堪，好给他一个舞台，让他尽情表演以一己之力挽救家族、挽救世道、挽救国家。”千年之后，北宋宰相、大文豪王安石登会稽东山，还因为自己的名和谢安的字相同而沾沾自喜。
淝水战后封公的谢琰是谢安的儿子。淝水大战让谢琰染上了骄傲狂妄的毛病。孙恩在浙东大起义，朝廷派遣徐州刺史谢琰前往镇压。史载谢琰到浙东后，无绥抚之能，又不整军备战。部将进谏说强贼就在海边，不能松懈，应该做好准备。谢琰不以为然，说苻坚百万大军都在淮南被我们谢家人给打败了，何况孙恩那样指挥骚扰海边的流寇。400年，孙恩趁谢琰不作防备集中军队偷袭，谢琰兵败逃亡，被部下杀害。儿子谢肇和谢峻同时遇害。
谢琰的小儿子谢混从小就有美誉，但走的是文学路线，善于写诗。谢混的诗歌清新浅显，不流俗，对东晋诗风的转移有一定影响。谢混历任中书令、中领军、尚书左仆射，多少延续了祖父的地位，不幸的是他卷入了东晋末年的政治旋涡。谢混与大将军刘毅关系密切，而刘毅偏偏在与权臣刘裕的党争中失败。东晋末期被准备篡位的刘裕杀害。谢混的死与社会大环境变迁有关，留待后文细说。
谢安看人很准。他生前很讨厌女婿王国宝。王国宝是同事王坦之的第三子，长得一副美男子的样子，但沾染上了世家子弟很容易患上的大毛病：狂妄自大、外强中干、趋炎附势。谢安生前，千方百计压制这个女婿的官职地位，不给他好脸色看。只可惜王国宝的年龄优势很明显，又到处钻营，没等谢安死去就跟着谢安的政敌们鼓吹自己的老丈人居功自傲，有不臣之心。谢安死后，王国宝的好日子就来了，像墙头草一样到处找强硬的靠山，地位蹿升，很快位列宰辅。史书记载他“纳贿穷奢，不知极纪”，家中妻妾歌妓成百上千，贪污的奇珍异宝不计其数。
谢安生前最喜欢、最看好的是侄子谢玄，将家族的兴盛传承希望寄托在了他身上。
这个谢玄也和王国宝一样，一副娇贵美男子的模样，小时候喜欢衣着华丽，腰上别着别致的丝巾，手里拿着漂亮的紫罗香囊把玩。谢安很担心谢玄的成长，就把他叫到面前来说，伯伯和你打赌玩，好不好？谢玄欣然答应，没几下就中了谢安的套子，输了。谢安说，我要拿走你的紫罗香囊作为赌注。谢玄满不在乎地将香囊给了伯伯，谢安赢到香囊，看了一下就轻轻扔到火炉里烧掉了。小谢玄看到眼里，心里明白叔叔不赞成自己的纨绔作风，下决心痛改前非。又一次，谢安问子侄们将来要做什么样的人。其他人的回答大同小异，无非是说要学好，做有能力有道德有声望的人。只有谢玄仔细思考后回答说要像“芝兰玉树”一样自由茁壮地成长，庇护一家门庭！谢安很欣赏谢玄的回答，认为他有独立的思想和强烈的责任感。他果然没看走眼，谢玄日后成为下一代中最出色的一位。
长大后，谢玄却并没有成为伯伯谢安那样玄学风范卓越的名士，而是成了一位大将军。一个玄学名家怎么培养出了一个武夫将领呢？从一件小事上可以看出谢玄的成长变化。谢安谢太傅曾在一个下雪天和子侄们谈文论艺。窗外雪下得很大，谢安就问晚辈们：“白雪纷纷，像什么东西啊？”谢玄说：“像在空中撒盐。”侄女谢道韫说：“像柳絮因风起。”谢玄的比喻没有谢道韫的好，可将下雪比作撒盐，既朴实又有力道。长大后，谢道韫成为才女，谢玄很自然成了领兵打仗的将军。
时代也为谢玄创造了良机。他进入仕途之时，正是东晋王朝面临北方强大的苻坚，边境数被侵寇。朝廷寻求良将，镇御北方。遗憾啊，东晋要找谈天说地的文人雅士，一抓一大把，但领兵打仗的人才却寥寥可数。谢安推举谢玄出任建武将军、兖州刺史、领广陵相、监江北诸军事，去前线打仗。中书郎郗超平日里和谢玄的关系不好，听到任命后叹息说：“谢安举贤不避亲，看来是看好谢玄的能力。谢玄这次去必定不负推举，有一番作为。”其他人都不以为然，觉得富贵人家的英俊公子谢玄去前线，能渡镀金就不错了，不会有所作为。
谢安不顾非议，坚持重用侄子谢玄，除了看好他外，还因为谢家虽然有自己在朝中，但在外地缺乏掌握地盘与兵权之人，迫切需要谢玄去外地站稳脚跟，和自己内外呼应，巩固陈郡谢家的势力。谢玄不负重托，取得多次与前秦军队接触战的胜利，有效地稳定了边界的局势。朝中的谢安也名正言顺地提升侄子为冠军将军，加领徐州刺史，又以功封他为东兴县侯。谢玄负责前方军事，有一个举措对东晋南朝的历史发展产生了深远的发展。当时前方聚集了许多北方逃难来的流民。这些流民仇恨北方政权，战斗力强，但是流离失所、生活窘迫，谢玄就挑选流民中的骁勇之士，组建训练一支精锐部队。因为他镇守江北，部下的这支部队被称为“北府兵”。谢玄带着“北府兵”驰骋前线，后来又作为主力参加了淝水大战。这支部队逐渐成为了东晋王朝战斗力最强的部队。刘牢之、刘裕等人都是在北府兵中扛枪打仗，逐步崛起的。尤其是刘裕，原本是一个在赌场输得一无所有的赌徒，走投无路当了兵，竟然靠着军功一步步掌握军队，最后推翻了东晋王朝建立了宋朝。谢玄可谓是刘裕的政治恩人。而北府兵随着形势发展逐渐摆脱谢家势力的影响，成为左右南朝政局的独立力量，呼风唤雨近百年，也完全超乎了谢安谢玄等人的预料之外。
如果把北府兵比作南朝的“北洋系”，那么谢玄就是缔造这个派别的“袁世凯”了。
在组建初期，北府兵还是听从指挥的天下精兵。当时普遍认为南方军队柔弱，无法与北方少数民族铁骑对阵。后来南北大战，一代枭雄苻坚远远看到北府兵的阵势就对左右北方将领说：“谁说南方没有劲旅，我看对面就有一支强敌。”
前秦发动百万大军，恶狠狠向东晋扑来的时候，谢安手中的牌只有两张：一张是荆州的桓家势力桓冲。但桓冲要阻挡从四川和湖北杀来的前秦军队，自顾不暇。谢安只能打出最后一以张牌，来抵抗从淮南正面杀向建康的前秦主力。它就是谢玄。朝廷给谢玄加了“都督徐兖青三州、扬州之晋陵、幽州之燕国诸军事”，作为前锋与前秦大军迎头相撞，务必挡住敌人进攻的步伐。谢玄的叔父、征虏将军谢石，堂弟、辅国将军谢琰等率领大军与他会合。东晋部队一共八万人，而对面的前秦大军有八十万人。
谢玄明白王朝的命运和家族的命运都在此一搏，没有退路了。当时前秦军队推进很快，已经突破了东晋边防，正长驱直入。谢玄冷静抓住前秦军队盘子太大，全面出击结果各部分散，缺乏统一步伐的弱点，集中北府兵精锐五千人交由将领刘牢之率领，首先击溃前秦梁成部队，阵斩敌军大将。前秦大军猝不及防，步骑争相后撤，结果在淮河边争抢着渡河，乱成一团。刘牢之纵兵扫荡，生擒敌将多人，缴获大量军需物资。东晋开战大捷。
瘦死的骆驼比马大，前秦虽败，依然掌握着战场优势。苻坚进屯寿阳，在淝水北岸安营扎寨，对东晋部队虎视眈眈。谢玄等人的部队被压迫在南岸，情势危急。
却说前秦虽然兵强马壮，内在则矛盾重重。苻坚刚刚强力统一北方不久，人心不稳。为了统一天下，前秦暴力征发了北方各民族、各前政权的部队。一百万大军中，多数是投降的部队，真心真意听从苻坚指挥的氏族部队比例很小。领军的将领中许多是投降的各前政权君主和各处降将，其中就包括被迫投降的东晋将领朱序。朱序派人与谢玄联系，争取临阵倒戈，并把前秦军队的弱点和盘托出。谢玄等人判断只要给与前秦军队一次重创，就可能激发矛盾引发内讧，打倒这只纸老虎。于是，谢玄主动向前秦下战书，说：“你们远涉我国国境，却临水为阵，明摆着不想速战速决。现在，请你们稍微向后撤退，让我军将士有渡河周转回旋的地方。到时，我要和你们一见高下！”前秦将领认为不应该撤军让东晋军队渡河，我众彼寡迟早会把谢玄等人拖死。苻坚则乐观地认为：“我们暂且退军，让敌人渡河。等他们还没列好阵势，我们的数十万铁骑就突然杀过去，把敌人逼进淝水里杀死，不是更好吗？”苻坚的弟弟苻融很赞同，就组织部队后撤，给谢玄的部队腾地方。前秦大军的人心本来就是散的，队伍很不好带。上头说是战术性撤退，下级却一下子相信前锋部队失败了。更有甚者，后面的部队见前面尘土飞扬，纷纷后撤，巴不得早点回家的降卒和壮丁们想当然地以为失败了，扭头就跑。朱序趁机大喊：“打败了，我们打败了！”军心瞬间涣散，各怀鬼胎的将领们纷纷拉起队伍逃跑。而后方大军还在源源不断向前行军，前方大军突然向后涌，挤成一团，乱成一锅粥。苻坚苻融等人根本制止不了，谢玄也压根没有想到会出现这样的好事，率精锐八千强渡淝水，也不列阵了，追着前秦败军的部队就猛杀猛砍。前秦皇帝苻坚中了流矢，苻融被乱军杀死。前秦百万大军奇迹般地一败涂地。苻坚曾自负地认为只要每人把马鞭扔进长江，就能使之截流，现在前秦大军自相踩踏溺水而死的尸体真的堵塞了淝水。淝水因此断流多时。逃跑的路上，前秦大军丢盔弃甲，日夜逃命，听到风声鹤唳都以为东晋追兵来了，结果沿途又饿死冻死了十分之七八的官兵。统一大半个中国的前秦王朝因此瓦解，苻坚被杀。
谢玄取得了史称“淝水之战”的辉煌胜利，杀敌数十万人，缴获仪服、器械、军资、珍宝等堆积如山，其中包括苻坚的座车，另有牛马驴骡骆驼十万余头。谢玄战后乘胜开拓中原，基本收复了黄河南岸地区，带动四川、汉中等地投降东晋。如此战功堪称南朝第一人。朝廷专门遣殿中将军慰劳谢玄，升他为前将军、假节，赐钱百万彩千匹。
陈郡也因为淝水大捷，彻底奠定了顶尖望族的基础。谢玄为家族做出的贡献不下于谢安。
只可惜，长期的奔波行军和风餐露宿的作战极大损害了谢玄的身体。淝水大捷后，谢玄的身体每况愈下。朝廷调任他为左将军、会稽内史，让他去气候温良的绍兴地区养病。第二年，谢玄病死在会稽，终年45岁。朝廷追封谢玄为车骑将军，谥号“献武”。
谢玄是陈郡谢家推出的“异类”的名将。可惜这朵名将之花过早地凋谢了。
经过几代人的努力，尤其是在谢安等人的奋斗和“淝水之战”的推动下，没有一个人能否认陈郡谢家世族领袖的地位了。由东晋后期直至南梁，陈郡谢家一直和琅琊王氏并称“王谢”，是南朝的最高门第。
谢家的崇高地位体现在三个方面，或者说这三个方面支撑了谢家的权势。首先，谢家世代为官，而且都是大官。自东晋至南梁(317年-557年)，谢氏共有12代、100余人见于史传。基本上，州县以下的小官谢家子弟不屑一顾，即使担任了也是“增加基层工作经历”，去锻炼镀金的。其次，谢家聚集了大量资产。比如谢安的孙子谢混有“田业十余处，僮仆千人”。到宋代元嘉年间，谢混这一支还有“资财巨万，田园十余所，奴僮数百人”。而谢玄的孙子谢灵运在会稽老家的地产更多，包括两座山、五所果园和数不清的竹林菜圃。经济基础决定上层建筑，强大的经济实力让谢家子弟能安心从政。钱财太多如果没有文化素养，那就是土财主。所以第三，谢家子弟大多才华出众，家族重视文化教育和知识积累。政治世家不管是怎么发家的，发达后都会重视家族教育。文化素养可以提升家族的形象，保障子弟的素质。在崇高清谈、醉心文艺的南朝，文教更是世族子弟不可缺少的必修课。
发展到最后，谢家门第高、势力大，连皇帝都不得不有求于谢家。比如历代皇帝登基加冕的时候，都喜欢找谢家辈分高的人来当司仪，有面子，也象征着世族大家对新皇帝的支持。谢家子弟慢慢地隐退幕后，不喜欢打理实际政务，但头等门户的光辉始终不落。南梁时，王琮娶了始兴王的女儿繁昌县主为妻。后来，始兴王悔婚，要王琮和女儿离婚。王琮的父亲王峻向始兴王求情。始兴王推脱道：“这是皇上的意思，我也不愿如此。”王峻就放狠话说：“臣太祖是谢仁祖（谢尚）的外孙，我们家也不需要借与殿下联姻来提高门户。”好几代之后，谢家外孙的身份都能让人在王爷面前强硬起来，谢家的门户势力可见一斑。
侯景之乱时，野心家侯景一度夺取政权。为了自我贴金，侯景让梁武帝替他向王家或谢家联姻。梁武帝肯定地告诉他，王谢两家门第太高了，你侯家高攀不起，还是找找江南朱家、张家那样的次等门第吧。侯景是个搞破坏的跳梁小丑，求婚遭遇，竟然对王谢等家子弟痛下杀手。陈郡谢家遭此一劫，力量有所削弱。
说到陈郡谢家的衰落，最直接的原因就是连年的战乱和杀戮。孙恩造反时，谢家势力正处于巅峰时期，主持了镇压造反的工作。结果，两年中近十位谢家青壮子弟死于战火。好几支血脉遭到了灭门。之后，桓温的儿子桓玄继承父亲的野心，再次造反作乱，悍然称帝。桓玄一度要占乌衣巷的谢家作兵营。谢安的孙子谢混苦苦哀求。桓玄考虑到桓谢两家的先人，关系不错，最后放弃了占谢家为兵营的念头。这两个大劫加上侯景的杀戮，谢家蒙受了重大损失。其次，新的政治人物和势力，尤其是寒门子弟的崛起冲击了陈郡谢家等老牌门户。出身贫寒的角色从世族子弟不愿意做的基层干部干起，逐渐掌握了实权。宋朝的刘裕、陈朝的陈霸先等人都是寒门子弟。他们必然和世族大家争夺权势。政治气候变了，谢家的政治田地不再旱涝保收了，后代要想重掌祖辈的权力难上加难了。最后，很多人批评谢家等世族子弟满足于清闲的官职，不思作为，整天清谈享福，没有了祖辈的实干精神。
这没错，在争权夺利、阴谋诡计加剧的政坛，缺乏文治武功和有为人才的老牌世族大家必然走向没落。可如果考虑到整个社会氛围以实干为俗、清谈为高，通过清谈无为来保持门第也是无奈之举。所以说世族子弟的无所作为，与政治渐行渐远是有必然性的。
后期，陈郡谢家子弟虽然充斥南朝各代，但有所作为的政治人物已不多见。他们走上了另外的道路。
让我们再回到谢安。他隐居的时间最长，生活最闲，似乎谢家兄弟都把子女留在东山托付给他教育了。谢安仿佛是一大家子的家庭教师，不仅教书育人，还给晚辈们筹划前途、求亲婚配。不过谢安的教育内容与政治技巧有关的不多，多数是与文学和做人有关。也许谢安本人就是玄学色彩浓厚、文艺味道突出的角色，无意中也塑造了陈郡谢家重文学、喜清谈潇洒的家风。后世一直用“芝兰玉树”来指代谢氏子弟，说的也是谢家子弟自由洒脱的才气、秀气。
陈郡谢家后期最著名的人物是一代文豪谢灵运。
谢灵运是一代名将谢玄之孙，谢瑛之子。谢瑛资质平庸，只担任过秘书郎，娶了王羲之的外孙女，生下谢灵运。也许是隔代遗传，谢灵运继承了王羲之、谢玄的若干优点，成就远远超过父亲。
谢灵运的政治很高，因为父亲早死谢灵运八岁就世袭了家族康乐公，食邑二千户。加冠后，谢灵运就出任了抚军将军刘毅的参军。同时他的仕途曲折，一生颠沛流离。因为谢灵运不幸赶上了权力乱世，上层风浪迭起。谢家已渐渐远离了实权，虚名为多，只能在政治风波中随波逐流，难有作为。刘毅在与刘裕的权争中兵败自杀，谢灵运堂叔谢混受到诛杀。刘裕却没有追究跟随刘毅、与谢混关系密切的谢灵运，反而起用为太尉参军，表示拉拢。此后谢灵运在一系列可有可无的小官职位上时断时续，起起伏伏。不久刘裕取代东晋，当起皇帝建立了宋朝。新王朝建立后，晋朝的封爵不算数了。刘裕为了表示对前朝世族大家的尊崇，宣布对王导、谢安、温峤、陶侃、谢玄五家保留封爵，但爵位下降一级，食邑减少。谢灵运因此由公爵降为“康乐县侯”，食邑缩为500户。
谢灵运继承了家族精讲玄学和精通文学的传统，多少有点隐逸自娱的性情和豁达宽松的胸怀。官运不佳没关系，谢灵运把精力都花在写诗吟词上。刘裕的次子、庐陵王刘义真人聪明，是文学的和蔼倾听者和慷慨支持者。他很欣赏谢灵运的文才，对谢灵运的诗文爱不释手，对谢灵运的洒脱轻浮也很认可，认为自古文人皆如此。刘义真还声称有朝一日要是当了皇帝一定任命谢灵运为宰相——看来刘义真也是轻浮率性之人。
刘裕死后，太子刘义符即位。刘义符年少无才，不久被权臣废黜。按封建宗法，刘义符之后就轮到刘裕次子刘义真继位，但徐羡之等权臣拥戴了刘裕三子刘义隆。权臣们先下诏将刘义真调离京城，接着又以不拘小节、诽谤朝臣的罪名贬谢灵运为永嘉太守，铲除刘义真的羽翼。安排停当，刘义隆顺利登了基坐了龙椅。
永嘉在今浙江温州，山水旖旎，风光秀丽，是当今的旅游胜地。但在南朝时，永嘉却是乌烟瘴气，闭塞落后得很。那雁荡山是横亘在人前的天险。谢灵运到了任上，也不问政事，整天寻思着怎么征服山山水水，攀登幽静险峻的山峰。为了登上，据说谢灵运发明了木制的钉鞋，上山取掉前掌的齿钉，下山取掉后掌的齿钉，这样上下山既省力又稳当，史称“谢公屐”。如果属实，谢灵运应该在体育史上拥有无可替代的地位。美丽的山山水水净化了谢灵运的心灵。他本因政治斗争失败而来，登山多少也有逃避现实寻求心灵宁静的目的。永嘉的山水让谢灵运找到了心灵栖息地。很少有人能够在一生中找到抚慰滋补心灵的内容，谢灵运在不幸之后幸运地找到了，并激发出了巨大的创作热情。仕途失利的谢灵运在文学诗歌上找到了成功。他吟唱山水，书写四季，记录日月，发展出了一种全新的诗歌形式：山水诗。谢灵运就是中国山水诗的鼻祖。
“池塘生春草，园柳变鸣禽。”在这里，谢灵运将一个普通的南方庭院有声有色地推到了读者面前。“密林含余清，远峰隐半规。”在这里，谢灵运和读者分享看到的山色美景。他的诗歌没有两晋诗歌玄思虚幻的色彩，更绝少说教与晦涩，清新美丽，平实易懂，彻底扭转了后世的诗风。钟嵘在《诗品》中说谢灵运的山水诗“犹青松之拔灌木，白玉之映尘沙”，上千年后依然被人传唱。当时永嘉和建康通信不便，但谢灵运一有新作，立即以最快速度被传抄到建康。人们称“谢康乐的大作来了”，争相传阅，成为时尚标志。
谢灵运在永嘉无为而治，纵情名山胜水，即便如此他也觉得太守的岗位难熬，杵在那里并非自己心愿。到任两年多后，谢灵运称病辞职，回到上虞东山隐居。
宋文帝刘义隆逐渐长大，也加入了谢灵运崇拜者的行列。在铲除权臣巩固皇权后，刘义隆征召谢灵运回朝廷，先任命为秘书监，随即升迁为侍中，恩宠无比。刘义隆称赞谢灵运的诗和字为“二宝”。谢灵运的春天来了！谢灵运身上的文人陋习膨胀爆炸了出来。他自恃门第高贵，又才华横溢名望在外，夸耀说：“天下才共一石（一石等于十斗），三国大才子曹植独占八斗，我占了一斗。剩下的一斗天下人平分。”他盲目乐观，以为位极人臣、重塑陈郡谢家辉煌的日子就在眼前。他踊跃向朝廷建议，积极和同僚们商谈政事，刘义隆无一采纳。刘义隆很尊重谢灵运，但那是文艺领域的尊重，不涉及权力。他提拔谢灵运在身边，“惟以文义接见”，只是当作文学侍从而已。不料，谢灵运一厢情愿地要介入政治。没不久，谢灵运也看出了皇帝的真实意思，皇上对他是用文字轻政治，朝廷真正得道的是另外一些有能力的实干之才。他们的门第和名望都不能和谢灵运相比，但他们得势了。也许朝政真的需要他们。谢灵运第二次选择了辞官。他知道这个选择基本上意味着告别了政坛，人生不会再有先前的良机了。谢灵运给自己个政治前途判了死刑。
辞官回乡后，谢灵运守着硕大的庄园，写诗作画，找朋友游玩取乐。他是待不住的人，不时率领数百随从去深山幽谷探险揽胜。会稽南边的临海郡在群山峻岭环抱之中，交通极其不便，据说风景优美但很少有人去过，更没有多少吟诵文章。谢灵运好奇心切，带上五百个家丁家将就出发了，逢山开路遇水搭桥，就是要一览庐山真面目。临海太守王秀得到报告说，有几百人开通了天台山和括苍山，奔临海郡城而来。临海很少有人造访，王秀的第一反应就是这是一伙强人，不是来攻打郡城就是来打劫的，下令禁闭城门做好防范。谢灵运是来旅游的，却吃了个闭门羹。经过交涉，王秀才知道是大名鼎鼎的谢灵运来临海搞创作了，虚惊一场。谢灵运游兴不减，在临海玩够临别时还拉着王秀，邀请他一起继续探索深山老林。王秀可没有谢灵运那样的闲情雅致，更不敢擅离职守，赶紧推辞了。
居家的谢灵运又惹上了麻烦。他要填湖开田，会稽太守孟顗不同意。谢灵运说孟顗不让他开发农田是因为迷信佛教，怕填湖让鱼虾丧生，并嘲笑他说：“得道靠的是天性聪慧，你生在我前，成佛必在我后。”太守孟顗恨死谢灵运了，告了他一状，说他有“异志”。谢灵运吓得赶紧连夜进京申辩。刘义隆对谢灵运很了解，不仅没有追究，还留他在建康主持典籍编辑。半年之内，谢灵运联合他人编定图书上万卷。
刘义隆觉得谢灵运这个人可惜了，起用他担任临川内史。到了临川，谢灵运仍旧不理政事，终日游荡。人际关系也没搞好，谢灵运再次被地方官员弹劾。自己满腔抱负，非但得不到重用，却多次和那些泥鳅王八纠缠申辩，苍天真是不公啊！谢灵运这次来了气，把告他的人扣押了起来，还赋诗一首：“韩亡子房奋，秦帝鲁连耻。本自江海人，忠义感君子。”满腹牢骚的谢灵运将刘宋王朝比作暴秦，自比张良、鲁仲连。这两位都是要推翻暴秦的人。暴秦是谁，人们第一就联想起本朝来。那么谢灵运是要推翻朝廷了。刘义隆终于忍受不了谢灵运了，决心要治他的罪。司徒刘义康亲自派人收捕他，谢灵运不做不休，竟然调兵拒捕。结果罪上加罪，被捕后降死一等，流放广州。
谢灵运依然不改狂放本色，坦荡地到广州去了。不想，刚到广州，新的诏书就跟到了。朝廷称谢灵运叛逆不道，下令就地正法。谢灵运在广州被当众斩首，年仅四十九岁。同时被朝廷下令杀害的还有刘义真。我们由此可知谢灵运的死因了。
谢灵运被斩首前叹息道：“真是小狂风雅，中狂讨嫌，大狂送命。”
谢灵运的死多少意味着陈郡谢家不可挽回的衰败。在他之后，谢家又出现了一位谢朓。谢灵运与谢朓并称文学史上的“大小谢”。谢朓留下了“鱼戏新荷动，鸟散余花落”的诗句，风格与谢灵运相近，性情也是洒脱不羁，名声在外，被南齐藩王器重。南齐后期，始安王萧遥光阴谋篡位，谢朓不预其谋，反遭诬陷，下狱冤死。“大小谢”极其类似的悲剧命运何尝不是谢家走向没落的反复宣示。
陈郡谢家在史书上的最后一个名士是谢安的九世孙谢贞。谢贞一生如浮萍一般在乱世中飘荡。侯景叛乱中，谢贞随无数难民被掳掠到长安，后回到南陈，又遇到整天唱着玉树后庭花的陈后主。人生多舛、国家无望，谢贞苦闷异常，又遇到母亲去世，他痛哭气绝竟然也死了。也许正是这件看似异常的“孝行”才让谢贞在史书上为家族争得了最后的赞誉。
谢贞诗歌才华不错，流传下来却只有“风定花犹落”一句。有人说，只凭这一句谢贞就能在中国文学史上占有一席之地，也有人说谢贞这句诗一语成谶，写出了陈郡谢家和两晋南朝整个贵族门阀的没落。
谢贞死后第四年，腐朽的南陈王朝覆灭了，金陵王气黯然收。两晋南北朝世族门阀的昌盛时代正式结束，王谢子弟踪迹难寻，旧时堂前的燕子现在都出入寻常百姓家了。
唐太宗李世民承认：“曩时南北分析，故以崔、卢、王、谢为重。”崔卢是北方大姓，而王谢则代表南方的世族门户。唐太宗说时，各家风光早已不在，旧事重提无非是作为追忆感叹的对象而已。