他出身于东晋大士族，因他袭封康乐公的爵位，世人称他谢康乐。他身为公侯，却并无实权，被派往永嘉任太守。谢灵运自叹怀才不遇，常常丢下公务不管，却去游山玩水。后来，他辞官移居会稽，常常与友人酗酒作乐。当地太守派人劝他节制一些，却被他怒斥了一顿。可是，谢灵运写的山水诗，却深受人们的喜爱。他每写出一首新诗，立刻就会被人争相抄录，很快流传开去。

地球仪上有你跟着我

烟云到处固难忘，笔墨传之尤可尚

退之著论差伤早，不待阳城伏閤时

已惭下车冯妇笑，又恐顾影痴儿嗔