起家大司马掾属，太元二年，为抵御前秦袭扰谢安举荐谢玄出任建武将军。

领兖州刺史，广陵国相，都督江北诸军事。

谢玄招募流民中的骁勇之士，在京口组织训练北府兵。

太元四年，前秦大举南下，连克重镇，朝野震动，谢玄率军解三阿之围，大败秦军。

收复盱眙，淮阴，迫使其败退淮北，以功进号冠军将军，徐州刺史，封东兴县侯。

太元八年，淝水之战爆发。谢玄出任前锋都督，遣部将刘牢之率部夜袭洛涧，首战告捷。

后抓住战机，计诱前秦军后撤，乘势猛攻，取得以少胜多的巨大战果。

太元九年，乘胜开拓中原，先后收复了河南，山东，陕西南部等地区，以功封康乐县公。

不久后因遭会稽王司马道子猜忌，被调离边境要地彭城，回镇淮阴。

至镇后称病，自请解职。改任左将军，会稽内史。太元十三年，谢玄病逝于会稽郡，时年四十六岁。

追赠车骑将军，开府仪同三司，谥号“献武”。

谢玄文武兼备，立志挽救危亡，以图恢复。他创建的北府兵能征善战，特别能吃苦耐劳。

成为东晋最为精锐的武装力量，他与谢安筹谋淝水之战并在前线指挥精锐与苻坚决战，以智勇胜敌，名震江左。

唐宋以后得以配享武庙，全晋文录其疏折数篇。

淝水之战是公元383年东晋和前秦之间发生在淝水的一场战争。

最终东晋仅以八万军力大胜八十余万(实则仅二十多万)的前秦军。

成语故事投鞭断流讲述的正是前秦与东晋淝水之战。

符坚当时进攻东晋号称八十万大军，狂妄而言:“只要每个士兵投鞭入流，便能截断黄河。”足见其声势浩大。