山涛决心引退，因为堂弟媳发丧，返回外舍。司马炎下诏说：“山仆射近日暂时出居，因有所操劳而未还，这不是我坐侧席而待贤的意思。现派遣丞掾奉旨告谕，若身体尚未康复，便坐舆车抬回府寺。”山涛辞让不能获准，无奈之下才就职理事。[20]
山公启事
山涛再次任选职十余年，每逢官位有缺，总选又几位备用的人，看到诏旨倾向于某一人，然后才明言上奏，先将司马炎所想用的人提出，所以司马炎所想用的人，有时没有先提出来，众人不了解详情，认为是山涛凭自己的意愿用人。有人在司马炎面前说山涛的不是，所以司马炎亲手写诏告诫山涛说：“用人的标准是有才，不遗漏疏远孤贱而有才的人，教化才能遍行于天下。”而山涛还是照样行事，一年以后，众人的意见才平息。山涛所荐拔上奏的人物，列名成册，当时称为《山公启事》。[21]他前后选举百官都选贤用能，只有用陆亮，是司马炎诏命所任用的，与山涛意见不一，山涛争辩而司马炎不听。陆亮不久也因为贪污受贿而被罢免。[22]
山涛在朝处于各派之中，晚年时正值杨皇后亲党专政。山涛不愿用杨氏，多次讽谏司马炎，司马炎虽领悟其意而终究不能改正。后来，山涛因年迈病重，上疏告退说：“臣年近八十，苟延残喘于旦夕，若对国家还有毫末之益，怎能留余力于盛世。迫于衰老，不能再负重任。当今四海无事，天下思从教化，从民心而行无为之政，百姓自能正己。只是应当崇尚风教以使民俗归厚罢了，陛下又有何事可做。臣耳聋目昏，无力奋进。君臣父子之间无须掩饰，因而直陈愚情，希望答应臣的请求。”于是摘下帽子，赤脚徒步送还印绶。[23]
司马炎下诏安慰山涛，山涛上表苦苦求退，司马炎又下诏不许。尚书令卫瓘上奏说：“山涛因有小病，久不履职。频繁下诏，还不服从诏命。朝中议论以为这样不能成全他的高尚之节，也违背在职为公的要求。若山涛病情沉重，也不宜居官位。可免去山涛官职。”司马炎下诏给卫瓘说：“山涛有德操，素为众望所归，而深心退让，十分恳切。故连续下诏，必求改变他的主张，以匡扶朝廷，弥补缺漏。主事者不明诏书深意，反而加以曲解，这有损于崇贤之风，给我加上轻贤无德之名，怎能给远近之人做出表率呢？”山涛不得已又就职理事。[24]
王衍：1晻晻为与道合，其深不可测。[36]2此人初不肯以谈自居，然不读《老》、《庄》时闻其咏往往与其旨合。[36]
孙盛：1山涛通简有德，秀、咸、戎、伶朗达有俊才。于时之谈，以阮为首，王戎次之，山、向之徒，皆其伦也。[36]2涛雅素恢达，度量弘远，心存事外，而与时俛仰。[36]
孙绰：护公德居物宗，巨源位登论道。二公风德高远，足为流辈矣。[37]
袁宏：山公中怀体默，易可因任，平施不挠，在众乐同，游刃一世，不亦可乎！[38]
顾恺之：1涛无所标明，淳深渊默，人莫见其迹，而其器亦入道，故见者莫能称谓，而服其伟量。[36]2涛有而不恃。[36]
刘义庆：1山公以器重朝望，年逾七十，犹知管时任。[39]2山司徒前后选殆周遍百官举无失才，凡所题目皆如其言。[39]