丞相弘、廷尉汤等以闻，上使宗正以符节治（淮南）王。未至，（刘）安自刑杀。后、太子诸所与谋皆收夷。国除为九江郡。……公卿请遣宗正、大行与沛郡杂治（衡山）王。王闻，即自杀。
——《汉书·淮南衡山济北王传》
历经数月筹备，刘安终于按照伍被的计划做好了充足的准备。然而，就在刘安准备发动全部兵马起兵之时，他又担心淮南国的国相和大臣们反对，于是又与伍被密谋先诛杀国相和二千石大臣。
为了将这些高级官员一网打尽，淮南王刘安提议说，“本王可命人于王宫内纵火，见到王宫起火，国相和二千石大臣大臣必来救火，到时便可趁机将他们全部杀死。”
伍被却认为这样做未必便能将他们一网打尽，反倒不如制造南越兵马犯境的假象，以抵抗敌军为名，光明正大的起兵。于是，淮南王刘安便派人前往庐江郡和会稽郡，制造南越兵马犯境的假象。
部署完毕，刘安心里还是不踏实，又问伍被，“我率兵向西挺进，诸侯应该会有响应的人吧。若是无人响应，又该如何？”
伍被沉思片刻后说道，“若是无人响应，便可向南夺取衡山国，攻打庐江郡，占有寻阳的战船，守住下雉的城池，扼住九江江口，阻断豫章河水北入长江的的彭蠡湖口这条通道，以强弓劲孥临江设防，阻止朝廷军队自南郡顺江而下。然后，再向东进攻江都国、会稽郡，与南方的越人交好，在江淮一带凭险抵抗，或许还能够坚持一年半载，但想要夺取天下，恐怕就不可能了。”
刘安听罢，点了点头道，“或许没有比这更好的计策了”，转念又自我安慰道，“即便情况危急，大不了逃奔南越国便是”。
就在刘安积极谋划起兵反叛之时，廷尉张汤在取得淮南王孙刘建的供词之后，也已经将刘迁密谋刺杀朝廷使臣之事呈报了汉武帝，汉武帝遂命张汤派人，以拜访淮南国中尉的名义前往淮南国，逮捕淮南王太子刘迁。
刘安在准备叛乱的同时，一直在关注张汤的动向，在得知张汤派人进入淮南国后，便知道自己已经没有时间再犹豫准备了，在与刘迁商议之后，遂决定召国相和二千石大臣进入王宫，杀死他们之后立即发兵。
然而，刘安的计划并没能取得成功，淮南国相虽然奉命前往王府拜见，但因事外出的内史却并未前来，中尉更是直接回绝了淮南王的召见命令，表示，“臣正准备迎接陛下派来的使臣，不能前往拜见大王。”
刘安见状，心想杀死国相一个人还有什么用，便又将国相放走了。
刘迁见父亲始终犹豫不决，起兵之事已经无法顺利进行，又想到朝廷如今追查的不过是谋刺朝廷使者之罪，而当初参与密谋之人已死，自认不会牵连到父亲，便对刘安说道，“群臣之中可以依靠者，先前都已经被抓了，如今已经没有可以倚重之人。您在时机不成熟之时发兵，恐怕难以成功，儿臣甘愿前往廷尉处领罪。”
刘安由于起兵之事太过不顺，本就有心罢手，听到儿子这么说，便答应了刘迁的请求。
然而，当刘迁得知廷尉张汤的事迹之后，听说了张汤残酷手段的他，立即便起了畏惧之心，担心熬不过酷刑的刘迁，为了免受皮肉之苦，干脆选择了刎颈自尽。然而，由于对自己下不了狠手，刘迁虽然做出了刎颈的动作，但却因伤口太浅，只是受了一点皮外伤，而并未丧命。
伍被虽然碍于淮南王对自己的知遇之恩，参与了谋反之事，但他本就不支持叛乱，在得知廷尉张汤的人马已经抵达淮南国，而刘安放弃起兵之后，自知难逃问罪的伍被干脆选择了自首，将自己参与谋反和刘安谋反的过程，全盘供了出来。
由于事涉整个王府上下，法吏在抓捕太子刘迁和王后荼之后，虽然并未直接抓捕淮南王刘安，但却将淮南王府团团包围了起来，严禁王府任何人外出。淮南王刘安自知大势已去，便也放弃了抵抗，静待朝廷处置。
不久，在取得真凭实据后，淮南王刘安及其参与谋反的宾客全部被搜捕抓获，又从王府中搜出了谋反的兵器盔甲等物，张汤随之将情况上奏汉武帝。
汉武帝将此案交给公卿大臣们审理，并说道，“关于具体判决，你们与诸侯王、列侯一起商议吧”。
由于事涉诸侯王，而朝廷和诸侯王的关系本就比较微妙，汉武帝虽然大权在握，也必须明确知道其他诸侯王、宗室和列侯们的意见。
此时的诸侯王早已无法与文景两朝相提并论，他们又岂敢对抗朝廷，更何况是这种本就十分敏感的谋反大罪，这种时刻，他们巴不得与淮南王刘安划清界限。于是，赵王刘彭祖、列侯曹襄等四十三人商议之后，皆认为，“淮南王刘安大逆无道，谋反之罪明白无疑，理应诛杀不赦。”
胶西王刘端更是说道，“淮南王刘安无视王法，肆行邪恶之事，心怀欺诈，扰乱天下，迷惑百姓，背叛祖宗，妄生邪说。《春秋》曾说‘臣子不可率众作乱，率众作乱就应诛杀’。刘安的罪行比率众作乱更严重，其谋反态势已成定局。臣所见他伪造的文书、符节、印墨、地图以及其他大逆无道的事实都有明白的证据，其罪极其大逆无道，理应依法处死。至于淮南国中官秩二百石以上和比二百石少的官吏，以及宗室的宠幸之臣中未触犯法律的人，他们不能尽责匡正阻止淮南王的谋反，也都应当免官削爵贬为士兵，今后不许再当官为吏。那些并非官吏的其他罪犯，可用二斤八两黄金抵偿死罪。朝廷应公开揭露刘安的罪恶，好让天下人都清楚地懂得为臣之道，不敢再有邪恶的背叛皇上的野心。”
丞相公孙弘、廷尉张汤见大家都主张严惩淮南王，遂将诸侯王、列侯和公卿大臣的议论结果上奏，汉武帝于是派宗正持符节前去审判刘安，然而被囚禁于淮南王府的刘安自知难逃死罪，早在宗正抵达淮南国之前便已经自尽而死。宗正抵达淮南国后，得知淮南王已死，便按律将王后荼、太子刘迁和所有共同参与谋反之人全部满门抄斩。
伍被因为曾经劝阻淮南王，且在劝说时多次赞美朝政，汉武帝本有心赦免于他，但廷尉张汤却说，“伍被乃是淮南王策划谋反的主谋，其罪不可赦免。”汉武帝这才无奈同意，于是伍被随之被杀，淮南国亦被废为九江郡。
廷尉张汤作为酷吏，唯恐此案做不大，不能彰显自己的能力，虽说淮南王如今已死，但他还是穷究不止，结果导致列侯、二千石官员、地方豪强数千人被牵连治罪。不仅如此，就连淮南王的弟弟、衡山王刘赐不久也被牵连了进来。
原来，廷尉张汤在追查过程中，发现了囚犯之中有一个衡山王太子刘爽的门客白赢，经过对他的审讯，才搞清楚了衡山王一家的狗血之事。
衡山王刘赐虽然是淮南王刘安的兄弟，但两人关系却极为不睦，时常互相指责抱怨。衡山王刘赐得知刘安有谋反举动后，便时常担心对方将来起兵后会吞并自己的衡山国，于是也暗中招揽人才训练兵马。
元光六年（前129年），衡山王刘赐入京朝见天子，其手下有个谒者卫庆，想要弃刘赐而去转投天子，衡山王一怒之下便将其囚禁了起来，并对其刑讯逼供，迫使其承认死罪，衡山国内史接到此案后，认为案情不实，便没有受理。衡山王于是又上书告发内史，内史在接受朝廷询问时，则反告衡山王刘赐欺压百姓，有司为此要求逮捕衡山王，但汉武帝却仅仅剥夺了衡山王任命二百石以上官员的任命权，而衡山王则因此迁怒于朝廷，与奚慈、张广昌等人开始密谋反叛之事。
原本衡山王刘赐的谋逆之举相较于淮南王刘安要隐秘许多，奈何他家中的事务太过狗血，结果最终因此酿成巨祸。
衡山王刘赐的原配王后乘舒生有两子一女，即太子刘爽、少子刘孝和女儿刘无采。此外，衡山王刘赐还有两个宠姬，其中宠姬徐来生下四个儿女，美人厥姬也生有两个子女。
王后去世之后，衡山王立徐来为王后，同时厥姬也极为受宠，两个女人便开始了争风吃醋。
厥姬为了搞掉徐来，便在太子刘爽面前诽谤徐来，说太子刘爽的母亲乃是被徐来以巫蛊之术害死的。太子刘爽因此而怨恨徐来。
后来，徐来的哥哥来探望妹妹，太子奉命招待于他，结果两人酒后发生激烈争执，刘爽更是用刀砍伤了对方。由于此事，王后与太子的关系急速恶化，徐来更是时常在刘赐面前诋毁太子。
与此同时，刘无采在出嫁之后，被丈夫休回，耐不住寂寞的她便与他人私通。太子因此多次责备于她，以至于这对亲兄妹的关系极差，王后徐来得知后，便拉拢刘无采共同对付刘爽。
至于太子刘爽的弟弟刘孝，由于幼年丧母，自幼便被交给了徐来抚养，因而与徐来的关系更为亲近。
结果，在继后徐来、妹妹刘无采和弟弟刘孝的联手诋毁之下，衡山王对于刘爽越来越厌恶，甚至多次鞭打于他，父子关系极为恶劣。衡山王卧病在床，太子刘爽便也以自己有病在身而不去伺候，刘孝、刘无采于是趁机在父亲面前说，“刘爽哪里有病，这不过是他自己说的罢了，而且说的时候还很高兴的。”衡山王因此大怒，便想要废除刘爽，改立刘孝为太子。
王后徐来得知衡山王刘赐有了废立之心后，心思又活泛了起来，想要蛊惑刘赐将刘孝一起给废掉，以便将自己的儿子刘广扶上王太子之位。
王后身边有一个侍者擅长跳舞，衡山王曾宠幸过她，王后便派这个侍者去勾引刘孝，从而想以淫乱之事让其父子失和。
太子刘爽得知了此事，便也想着以其人之道还治其人之身，同样以淫乱的罪名扳倒徐来。一次，王后徐来请太子喝酒，太子刘爽便趁着上前劝酒时，突然抱住她的大腿，请求与她厮混。王后一怒之下便将此事告知了衡山王，衡山王便命人将太子叫来，想要再鞭打一顿。
早对父亲不满的太子刘爽见到刘赐之后，非但没有请罪，反而冷笑着说道，“刘孝与大王的侍者奸淫，刘无采与奴仆奸淫，大王您该吃吃、该喝喝，我这就去上奏皇帝。”说罢，刘爽转身而去，刘赐命人拦住刘爽，然而那些手下人哪里拦得住，刘赐于是自己追上去，将太子刘爽抓了起来，命人将其关押在宫中。
太子刘爽与刘赐父子失和的同时，刘孝却是越来越讨刘赐的喜欢，衡山王非但没有怪罪他与侍者厮混之事，反而在将刘爽囚禁之后，将王印交给了他，并将其封为将军，让其住在外祖父家中，赏赐给其大量钱财，让其替自己招贤纳士。
与淮南王刘安一样，当时投奔衡山王的人有不少都是野心勃勃之辈，他们在得知衡山王素有谋反之意后，便极力对其蛊惑。于是，衡山王刘赐便派刘孝的门客江都人枚赫、陈喜制造战车弓矢，篆刻天子玉玺及将军、丞相、军官大印，又时常与这些人商议起兵细节。
元朔六年（前123年），衡山王再次入京朝见，在路过淮南国时，淮南王刘安与其叙起兄弟深情，两个野心勃勃之辈遂摒弃前嫌，相约共同谋反。这次会面，使得刘赐的谋反之心更为坚定，他随即上书朝廷称自己有病，无法按照计划入京朝见，在得到汉武帝准许之后，便就此返回了封国。
返回封国之后，刘赐一方面加紧筹备谋反事宜，另一方面则上书朝廷，请求废除太子刘爽，改立刘孝为太子。
刘爽得知消息后大怒，立即派好友白赢到长安上书，告发父亲衡山王刘赐和弟弟刘孝意图谋反，以及刘孝与衡山王侍者通奸等事。
然而，由于当时朝廷正在查办淮南国的案子，为了防止淮南国的使者在京城刺探情报，京城对于诸侯国使者盘查极为严格，结果白赢还没来得急上书便被逮捕了，虽然事后查明他与淮南国并无关系，乃是来自于衡山国，但还是被关押在了大牢之中，直到后来廷尉张汤提审。
衡山王刘赐得知消息，担心白赢供出自己参与谋反之事，便决定先下手为强，上书告发太子大逆不道之罪。汉武帝遂下令将此案交给沛郡审理。
元狩元年（前123年）冬，白赢在张汤的一番审讯下，供出了衡山王参与谋反之事，同时交代出了参与谋反的刘孝门客陈喜。廷尉张汤没想到又被自己抓到了一条大鱼，立即将此事上奏汉武帝，取得同意后立即派人赶赴衡山国，并在刘孝府上将陈喜捉拿归案。
陈喜到案后，很快便交代了衡山王刘赐和儿子刘孝谋反之事，并将自己替衡山王刘赐所做的事情和盘托出，公卿大臣为此纷纷上书弹劾刘孝包庇窝藏陈喜之罪。
刘孝自然知道陈喜与父亲密谋造反之事，年少的他在陈喜被抓之后便整日担惊受怕，一方面担心陈喜将自己供出来，另一方面也担心白赢趁机攀咬自己。为了获得赦免，刘孝心一横便选择了抢先自首，供出了父亲密谋造反之事，并将参与谋反的枚赫、陈喜等人一并告发。
张汤拿到这些铁证，再次上书汉武帝，请求逮捕衡山王刘赐治罪。汉武帝遂派中尉司马安、大行李息前去审问衡山王，刘赐自知无法抵赖，只得如实招供，随之被幽禁于衡山王府。
中尉司马安、大行李息回京禀报汉武帝后，汉武帝又命宗正、大行李息和沛郡郡守一起查办衡山王刘赐，刘赐得知消息后，自知难逃严惩，最终选择了自杀。刘孝虽然因为自首被免除了谋反之罪，但还是因为与衡山王婢女通奸之罪而被杀。此外，王后徐来因为谋害前任王后乘舒，太子刘爽因为告发王父为不孝，也都被斩首示众。其他参与衡山王谋反之事者也都被正法，衡山国随之被废。
事后，段宏由于此前先后两次出使淮南，不仅未能查获淮南王谋反证据，更未能及时察觉出淮南王谋反迹象，差点给朝廷酿成巨祸，因此被罢免中尉一职。
虽然先后两王因谋反被杀，但张汤似乎并未打算作罢，经过进一步深入追查，不久便又有一位诸侯王被牵连了进来，他便是江都王刘建。
刘建生性极为好色，而且色胆包天，早在他还是王太子时，邯郸人梁蚡带了一个女子想要献给其父江都易王刘非，刘建听说这个女子很美，便将其私下里扣留了下来，气的梁蚡怒斥其“儿子竟与父争妻！”刘建听说后大怒，派人将梁蚡杀死，只因恰逢朝廷大赦这才没有被治罪。
元朔元年（前128年），江都易王刘非薨逝，刘建还不等父亲下葬，便与父亲所宠爱的美人淖姬等十余人厮混在了一起。不仅如此，刘建连自己的亲妹妹也没有放过，他趁着已经嫁给盖侯之子的妹妹刘征臣回来奔丧，而与其私通。
刘建除了好色之外，性格也极为残暴，时常以各种方式残害他人而取乐，例如他游览建章台宫时，曾让四个女子乘船，他却突然将船踹翻，以致两人被淹死。又如游览雷波时，正好遇到刮大风，他又强命两个男子乘船入波中，结果导致两人因船翻落水，他非但不许人救援，反而看着两人在水中时隐时现取乐，以致两人被淹死。再如宫中姬妾稍有过错，他便以放狼撕咬、鞭打等各种方式将其折磨致死。
由于太过淫乱暴虐，自知自己罪孽深重的刘建，便也时常担心自己有一天会罪行暴露被杀，于是又和王后成光一起用巫蛊之术诅咒汉武帝。后来，他风闻淮南王和衡山王阴谋造反，他便也打造兵器、招揽人才，准备起兵响应。
张汤在查出江都王刘建的反迹后，再度上书汉武帝，汉武帝遂命丞相长史和江都相前去查办，结果搜出兵器、皇帝印玺、绶带旌旗等各类器具。
汉武帝于是诏命公卿大臣讨论治罪。大家听说了刘建的罪行后，纷纷表示，“刘建久失臣子之道，一直蒙皇恩不忍惩罚，反而图谋反叛。他的所作所为已无人道，就是桀纣也难以相提并论，足以天诛地灭，理应以反叛罪诛杀。”
汉武帝于是命宗正、廷尉前去审问，自知难逃一死的刘建也选择了自尽而死，王后成光等人也随后被处以弃市之刑，江都国亦被废为广陵郡。
由于廷尉张汤在查办淮南王刘安、衡阳王刘赐、江都王刘建谋反案件中尽心尽力，再加上他极善于把握汉武帝的心思，因而愈来愈受到重用。元狩二年（前121年），丞相公孙弘病逝，御史大夫、乐安侯李蔡继任丞相，张汤则因此升任御史大夫。