禹至，让汤曰：“君何不知分也！君所治，夷灭者几何人矣！今人言君皆有状，天子重致君狱，欲令君自为计，何多以对为？”汤乃为书谢曰：“汤无尺寸之功，起刀笔吏，陛下幸致位三公，无以塞责。然谋陷汤者，三长史也。”遂自杀。
——《汉书·张汤传》
元狩五年（前118年）三月，有人告发丞相李蔡侵占汉景帝阳陵区域的空地埋葬家人，汉武帝闻之大怒。汉朝本就以孝治国，身为丞相竟然敢侵占皇帝生父的陵寝土地，这还得了，遂立即下令将李蔡交由法吏严惩。
正所谓“刑不上大夫”，周朝时期因刑罚主要为肉刑，因此通常不对卿大夫以上贵族使用带有侮辱性质的肉刑，那么卿大夫以上的官员犯了罪又该怎么办呢？基于对贵族的道德品质要求，卿大夫应该主动前往宫阙请罪，然后在得知君主治罪的消息后，面向国君方向跪拜两次，然后自尽，而不必施以刑罚。
或许是沿袭于此，汉朝时期君臣之间通常有一种特殊的默契，一旦九卿以上官员，尤其是位列三公者，在明知自己犯罪，而得到皇帝下狱治罪的消息后，通常都不前往狱中受审，而是直接自尽。一是为了维护自己的尊严名誉，免受皮肉之苦；二是为了保全家人，避免家族受到牵连。
李蔡深知私自侵占皇陵乃是大不敬之罪，自己已是难逃一死，如果受审弄不好还会连累家人，遂选择自杀而死，乐安侯国被废除。次月，汉武帝任命太子少傅、武强侯庄青翟接任丞相一职，汉武帝即位之初，因改革触怒窦太后，窦太后废掉了汉武帝任命的丞相窦婴，改以庄青翟为丞相，窦太后去世后，汉武帝便罢免了庄青翟，改以田蚡为丞相，没想到时隔多年，庄青翟竟然再次担任了丞相。
李蔡事件让汉武帝意识到，丞相的权势虽然已经大不如前，但明显缺乏监督。于是，为了加强对丞相的监察，汉武帝下令在丞相府增设司直一职，名义上是负责协助丞相纠举不法，实际上对于丞相同样有监察职权。
元狩六年（前117年），汉武帝身患急症，始终难有起色，后在方士游水发根的建议下，找来一上郡巫师。巫师言称神灵传信于自己，让汉武帝不必担心病情，待病情好转后，可前往甘泉宫与自己相会。
过了一段时间，汉武帝的病情果然有所好转，于是立即决定前往甘泉宫相见。在途径右内史管辖区域时，汉武帝发现沿途道路大多损坏失修，对于右内史义纵的玩忽职守极为恼怒，说道，“义纵难道认为我再也不能走这条道路了吗！”
当初，汉武帝之所以将酷吏义纵调入京城，便是看中了他狠辣的办事风格，然而义纵自奉调入京以来，虽然对于京畿一带私铸钱币者大肆捕杀，却始终没能遏制盗铸之风，这让汉武帝对他的办事能力极度怀疑，如今又见京畿道路损毁严重，不禁对于他的履职能力也产生了怀疑，内心深处开始对义纵愈发不满。
同年冬，为了进一步打击隐瞒财产和偷税漏税的行为，汉武帝命令杨可主持告缗事务，杨可到任之后，大肆鼓励商人、百姓之间相互检举揭发，以致民间私告成风，社会急剧动荡。义纵认为杨可此举无异于饮鸩止渴，告缗虽然可以推动财产税的征收，增加国家收入，但对于国家的稳定却造成了极大损害，因此在未经请示汉武帝的情况下，便派人将杨可的部下抓了起来。
此事传到汉武帝耳中，立即惹的汉武帝大为恼怒，毕竟告缗可是汉武帝亲自下诏推行的政策，义纵此举无异于公然阻挠诏令的推行。在汉武帝看来，你一个右内史不好好履行自己的职责，却跑来阻挠朕的政令推行，这岂不是无法无天了？于是，汉武帝立即下令逮捕义纵，并命大臣杜式严查，义纵最终以破坏执行诏令之罪被杀。
就在义纵被杀后不久，作为酷吏代表人物的张汤，亦陷入了危机之中。
西汉早期，官僚系统基本沿用秦朝，御史大夫虽然担负着监察百官职责，但作为副相，其主要职责还是协助丞相处理政务，监察之权主要由其属官御史中丞代理。
河东郡人李文曾与张汤有嫌隙，后来李文出任御史中丞，拥有了监察百官职责的他，便开始利用职务之便不断找时任廷尉的张汤麻烦，他利用兰台保管朝廷典章图集的便利，多次在上奏的文书中查找对张汤不利的证据，虽然始终没有得逞，但也让张汤担惊受怕、战战兢兢。
再后来，张汤出任御史大夫，成为了李文的顶头上司，张汤于是也利用职务之便不断打压李文。不过，由于张汤主要负责理政，而李文负责监察，两人虽是上下级，但职责却并无交叉，张汤拿李文一时间也没有好办法。
张汤有个属吏名叫鲁谒居，知道张汤对李文长期不满的他，为了讨好张汤，便指使他人上书汉武帝，影射李文图谋不轨。起初汉武帝并未在意，毕竟一个文臣能图谋不轨到哪里去，便将此事交给了张汤处理，正愁找不到机会的张汤哪里肯放过这种机会，遂炮制罪证将李文处以死罪。
虽然凭借着多年查办案件的经验，张汤所列举的罪证找不出任何漏洞，但汉武帝还是觉得一个御史中丞图谋不轨有些太过奇怪，事后曾向张汤问起此事，“为何会有人告发李文图谋不轨，此事你可曾查过？”
张汤明知道此事乃是鲁谒居所为，但还是故作糊涂的说道，“大概是因为李文的熟人因为与其有怨，这才上书告发。”
正所谓“帮领导做一百件好事,不如和领导一起做一件坏事”，凭借除掉李文之功，张汤对鲁谒居愈发信任，鲁谒居患病时，张汤不仅前往探望，甚至亲自上手为鲁谒居按摩双足。
然而，张汤恐怕怎么也没有想到，自己探望关心下属的举动，却直接让自己陷入了绝境。
在汉武帝实行盐铁官营之前，赵国凭借着境内铁矿，也算是日进斗金，然而自从盐铁官营政策推行以来，铁矿被收归朝廷管理，断了财路的赵王刘彭祖，日子那是一天不如一天。然而，盐铁官营毕竟是汉武帝亲自下诏推行的政策，赵王刘彭祖可没那个胆量公然对抗朝廷，于是他便时常上书告发境内的铁官。
由于御史大夫承担着上传下达的职责，无论是官员上书还是皇帝下达诏令，都要经过其手。赵王刘彭祖的奏章便也不可避免的落到了张汤手中，为官多年的他如何看不出刘彭祖的心思，作为盐铁官营措施的发起人，张汤自然不希望该制度遭到抨击，遂将赵王刘彭祖的奏章抛到了一边，并未呈送汉武帝，以致刘彭祖的上书屡屡石沉大海。
刘彭祖在得知此事乃是张汤从中作梗后，心中的恼怒可想而知，为了对张汤予以打击报复，刘彭祖便也派人暗中搜集张汤的罪证，并因此得知了张汤为鲁谒居按摩双足之事。刘彭祖可不相信，平日里冷酷残忍的张汤会好到给下属按摩的地步，于是派人向汉武帝密奏，“张汤作为朝廷重臣，掾史鲁谒居有病，张汤却亲自到他那里为其按摩双足，我怀疑他们可能一起干了什么大坏事。”
诸侯王告发朝廷重臣，汉武帝可不敢大意，立即命廷尉负责调查。由于鲁谒居已经因病去世，为了查清真相，廷尉便将他的弟弟传唤到了衙门，拘押于导官署。
当时，张汤还不知道朝廷在查办自己。一日，张汤恰巧前往导官署审理其他囚犯，因此见到了鲁谒居的弟弟，张汤有心替其脱罪，却又不知他到底犯了什么罪，于是只好假装不认识，免得贻人口实，打算离开之后立即派人调查运作。
然而，鲁谒居的弟弟却不知道张汤心中的想法，眼见张汤见到自己却装作陌生人一样，心中顿时升起无尽的怨恨，遂托人上书告发了张汤与鲁谒居共同谋害李文之事。
由于张汤办事雷厉风行，又常常符合自己的心意，汉武帝一直对张汤宠信有加，如今听说他竟然瞒着自己做出这等龌龊之事，顿时大为恼怒，立即召见御史中丞咸宣，命其查办此案。
咸宣乃河东郡杨县人，早年曾在河东太守手下担任佐史，卫青前往河东买马时，见其十分干练，便向汉武帝予以推荐，汉武帝于是调任咸宣出任厩丞。在任期间，咸宣尽职尽责，因而后来又被升任御史，并曾参与主父偃谋害齐王和淮南王谋反等大案的侦办。尤其是淮南王谋反案时，咸宣不仅与时任廷尉的张汤有过来往，而且两人配合的极为密切，最终成功将衡山王和江都王拖下了水，因而以敢于判决疑难案件所着称，也正是凭借着此案之功，张汤后来升任御史大夫，而他则在李文获罪被杀后，迁任御史中丞。
咸宣不仅曾与张汤合作过，而且张汤对他还有提拔之恩，然而咸宣对张汤非但没有感激之情，反而十分怨恨。原因其实很简单，咸宣担任御史近二十年，虽然做事勤勉，却始终难得提拔，他原本以为凭借着当年共同查办淮南王谋反案的情谊，张汤会重用自己，却没想到张汤并未念及旧情，直到李文被杀，自己才被任命为御史中丞。
因此，咸宣在接手此案后，非但没有替张汤开脱，反而穷追狠治，恨不得一举将张汤给扳倒。
就在朝廷追查张汤之时，张汤自身不仅毫不知情，反而又得罪了一个不该得罪之人。
自文景两朝以来，前任丞相离任之后，多以御史大夫继任丞相之位，因此当李蔡因罪自尽后，张汤一心想要继任丞相之位，然而天不遂人愿，张汤只是暂代了丞相一职月余，汉武帝便任命庄青翟接任了丞相一职，没能更进一步的张汤因此对庄青翟生怨。
元鼎二年（前115年），汉武帝接到禀报，有人盗挖文帝皇陵中陪葬的钱币，汉武帝因此震怒，丞相庄青翟、御史大夫张汤得知后，便约定上朝时一起向汉武帝谢罪。
然而，等到上朝时，张汤却玩了个心眼，他心想，丞相按制应当在四时到各皇陵祭拜，皇陵被盗应该是丞相的罪责，与自己有什么关系，自己凭什么跟着一起领罪。
于是，在丞相庄青翟跪地谢罪之后，张汤并未按照约定上前请罪，反而装作没事人一样。张汤不仅违背了与庄青翟的约定，而且在汉武帝派遣御史调查此事时，还打算倒打一耙，私下召见御史，暗中嘱咐于他，意图将盗钱一事全部推卸到庄青翟身上，甚至嘱咐御史查办庄青翟明知故犯之罪，趁机将其扳倒，自己好取而代之。
然而，此事随后便传到了丞相府，丞相长史朱买臣、王朝、边通遂劝说丞相庄青翟先下手为强。
朱买臣早年也是汉武帝身边的文学近侍，而朱买臣之所以受到汉武帝的任用，离不开同乡庄助的推荐。当初，朱买臣来到京城，向汉武帝上书希望得到重用，却始终没有下文，直到遇到同乡、时任中大夫的庄助，经其推荐才得以面见汉武帝，进而入朝为官，因此朱买臣对庄助始终心怀感激之情。
张汤审理淮南王谋反案件时，庄助因曾与淮南王刘安来往而获罪，汉武帝本不想杀他，但张汤却坚持认为，庄助身为天子近臣却与诸侯王交往，罪不容诛，最终导致庄助被杀，这让朱买臣极为不满，两人因此生怨，不过当时朱买臣还在地方任官，与张汤并无过多交集。
后来，朱买臣从会稽太守升任主爵都尉，但仅数年便又因犯法而被免官，降职为丞相长史。朱买臣曾去拜访张汤，结果不仅张汤高傲地坐在床上，就连御史府的府丞和掾史也都对朱买臣极为慢待。
要知道，当初朱买臣受到汉武帝重用时，张汤还只是小吏，见到朱买臣时常常要跪拜行礼。如今张汤却是如此面目，这更让朱买臣加深了对张汤的怨恨，常欲置张汤于死地。
边通则以纵横之术出名，而且性格极为刚烈，其先后两次出任济南国相，后来也因罪免职，降为丞相长史。
王朝是齐地人，以懂得方术而出名，一度官至右内史，结果后来也是因罪被降职为丞相长史。
朱买臣、王朝、边通三人的地位都曾比张汤高，当年张汤没少对三人卑躬屈膝，如今三十年河东、三十年河西，此时双方的地位天差地别，因而张汤代理丞相期间，常常故意凌辱三人，三人虽然心存不满，但因地位之差，也只能委曲求全，如今好不容易找到了报复的机会，他们岂会错过。
为了对付张汤，朱买臣三人私下谋划一番，然后对丞相庄青翟说道，“当初张汤与丞相相约向皇帝谢罪，然而事到临头，却出卖了丞相。如今又打算以宗庙之事弹劾丞相，这是欲取丞相之位啊。”
庄青翟问计于三人，三人认为可先拿住张汤罪状，然后先下手为强，抢先弹劾张汤。庄青翟同意三人所请，朱买臣等人于是派人逮捕了张汤的好友田信等人，经过严刑拷问，果然拿到了张汤很多罪状。
之后，朱买臣等遂上书汉武帝，“张汤向皇帝奏请施行法令时，商人田信等人总是先知道而能囤积居奇，赚了钱后又分给张汤。”
汉武帝闻之大怒，召张汤入宫，就泄密之事责问于他，张汤却是一脸茫然，非但没有谢罪，反而诧异的道，“大约有人泄漏，亦未可知。”
与此同时，御史中丞咸宣业则将鲁谒居之事查办清楚，将张汤与鲁谒居合谋害死李文之事，原原本本的告知了汉武帝。
汉武帝因此认定张汤心中险诈，多次蒙蔽自己，于是派使者以八项罪名前去责问张汤，然而张汤却根本不认账，一一予以了否认，汉武帝于是又派廷尉赵禹去责问张汤。
赵禹见到张汤后，诘问于张汤，张汤仍然不服，赵禹便说道，“阁下为何如此不知分寸！试问，这些年来你审讯处死了多少人？族灭了多少人？如今你被他人告发，事事皆有证据，天子不忍加诛，你却不知好歹，依旧在此巧言置辩？不如就此就此自决，或可保全族！”
张汤也自知难以幸免，便向赵禹讨要了一张纸，提笔写道，“臣汤无尺寸之功，起于刀笔吏，幸蒙陛下过宠，忝位三公，无自塞责，然谋陷汤者，乃三长史也。臣汤临死上闻！”
写罢，张汤将纸交给赵禹，然后取剑在手，发狠一挥，就此毙命。
张汤死后，兄弟们本想将张汤厚葬，其母却说，“张汤作为天子大臣，如今遭受恶言中伤而死，又何必厚葬？”于是，其家人只是将其草草收殓，以牛车载棺出葬。
朱买臣等人弹劾张汤的罪名，便是张汤与商人合谋牟利，然而张汤死后，汉武帝命人搜查，结果为官数十年的张汤，家产还不到五百金，而且多为汉武帝的赏赐所得，又何来以权谋私之说。
赵禹将张汤之死回报汉武帝，汉武帝看过张汤的遗书后已然略有悔意，后来又听说张汤家中并无余资，张汤之母更是严禁家人厚葬，这才觉察到自己遭受蒙骗，遂将朱买臣、王朝、边通全部抓获，查明陷害张汤之事后，全部处死于闹市，以为张汤抵罪，丞相庄青翟也因此被迫自尽。
为了告慰张汤的在天之灵，汉武帝又下令晋升了张汤之子张安世的官职。之后，汉武帝任命高陵侯赵周为丞相，以万石君石奋之子石庆为御史大夫。