遣伏波将军路博德出桂阳，下湟水；楼船将军杨仆出豫章，下浈水；归义越侯严为戈船将军，出零陵，下离水；甲为下濑将军，下苍梧……秋，东越王馀善反，攻杀汉将、吏。遣横海将军韩说、中尉王温舒出会稽，楼船将军杨仆出豫章击之。
——《汉书·武帝纪》
汉军全军覆没的消息传回京城，汉武帝震怒，半晌之后才叹道，“韩千秋虽然没有成功，也是军锋之冠，樛乐的姐姐是南越王太后，首先愿意归属汉朝，也算有功”。于是，下诏封韩千秋之子韩延年为成安侯，樛乐之子樛广德为乐侯，同时对战死者家属进行抚恤。
面对两千将士的阵亡，汉武帝发狠道，“既然南越不愿和平归附，那便以武力征服”。为此，汉武帝颁布特赦诏书说，“天子微弱，诸侯互相争战，《春秋》讽刺人臣不为君讨伐反贼。吕嘉、赵建德等反叛，心安理得地自立自封，现命令越人和长江、淮河以南的楼船水师十万人前往讨伐他们”。诏书下达之后，南越人郑严与田甲率众归降，汉武帝封郑严为归义侯，并命其招募善骑射的越人组建越骑，号为越侯兵。
元鼎五年（前112年）秋，汉武帝下令调集水陆大军共计十万，兵分四路大举进攻南越，四路主将分别是路博德、杨仆、郑严和何遗，具体部署如下：
第一路，任命此前驻军桂阳（今广东连州）的卫尉路博德为伏波将军，率兵从桂阳沿湟水南下，直取南越都城番禺。路博德曾以右北平太守之职，率兵跟随霍去病参与漠北之战，因功获封符离侯。
第二路，任命主爵都尉杨仆为楼船将军，率领水军出豫章郡，然后沿浈水南下，与路博德会师后合攻番禺。
第三路，以归降的南越人郑严、田甲分别为戈船将军和下厉将军，其中郑严为主将，田甲为副将，率越侯兵出零陵，然后沿漓水南下，攻取苍梧后，与汉军主力会师番禺。
第四路，以驰义侯何遗为主将，前往蜀地征发巴蜀获得赦免的罪人和且兰、夜郎等西南夷军队，自牂柯江南下，攻取南越西境，然后与其他各路兵马会师于番禺。
得知朝廷大举征伐南越，齐相卜式上书朝廷，请求批准自己父子和齐国熟悉水战者随军出征效力。为此，汉武帝特别颁布诏书表扬卜式之举，封卜式为关内侯，赏金六十斤、土地十顷，并将其事迹宣告全国，然而全国上下却无人响应。
当时列侯数以百计，却没有一个人像卜式那样主动要求从军者，这让汉武帝大失所望。在汉武帝看来，如今朝廷府库空虚，这些列侯占据着大量食邑，享受着朝廷提供的福利，却不思为朝廷效力，如此还留着他们做什么？倒不如全部废免，还可以收回大量田土，缓解朝廷压力。
当时，朝廷正好在举行酎祭活动，天下列侯奉命进献黄金，汉武帝为了惩治这些列侯，遂命少府检查各列侯所献黄金，凡重量不足或成色不好者，一律以“不敬”之罪加以参劾。结果，因此而被革去爵位者，多达一百零六人。不久，丞相赵周也因“明知列侯所献黄金重量不足，却纵容包庇”，被逮捕下狱，不久后自杀身亡。汉武帝改以万石君石奋之子、御史大夫石庆为丞相，封牧丘侯，卜式则得以升任御史大夫。
在奉命征讨南越的几路大军之中，首先立功的是楼船将军杨仆，他率领精锐水军按照计划抵达豫章后，溯赣江而上，经南康抵达南安，因前路被大庾岭所阻，于是果断率军弃船登岸，从陆路越过大庾岭，来到浈、凌两江交汇处，伐木造船，再建楼船师，然后率军登船沿浈水南下。
杨仆所率军队虽然距离较远，顺江而下却进展极为迅速，一举突破南越军队的外围防线，于元鼎六年（前112年）冬抢先攻破了寻陿（今广东清远市东），接着又攻破了番禺城北的石门，缴获了大量南越国的战船和粮食，打开了番禺的北大门。
之后，杨仆趁机率军向南推进，挫败了南越国的先头部队，抵达番禺外围之后，率领数万大军驻军城外，等待路博德的军队。
驻军桂阳的路博德距离南越最近，却也是南越的防御重点，再加上沿途关隘众多，结果进军速度反而没有杨仆那么迅速。
当初，赵佗为了切断南越与中原沟通的要道，修建了多个关隘，其中横浦关、阳山关、湟溪关更是南越军队防守的关键，三大关隘以位于连江和西江交汇处的湟溪关为支点，勾连北部的横浦关、阳山关从而形成了一个倒三角形的立体防御体系，一旦中原军队南下，湟溪关不仅可以随时支援横浦关或阳山关，而且还可以作为守军的第二道防线。正是凭借着这三大关隘的阻隔，南越才得以割据一方。
路博德率军南下的路线，正好便要经过三大关隘中的阳山关和湟溪关，等到路博德好不容易攻克了两大关隘，南越军队的心理防线也随之告破，纷纷溃散南逃，这才使得行军速度加快。
在得知杨仆已经率军抵达番禺外围后，路博德命令后续主力休整慢行，自己则亲率一千多先锋前往与杨仆会师。两军会师后，以杨仆为主力向番禺进发。
由于北部防线告破，番禺外围已经无险可守，南越王赵建德和丞相吕嘉遂收拢军队，固守番禺城，打算拼死一搏。
汉军抵达番禺城外后，杨仆选择有利地形，将军队驻扎在番禺的东南面，却并不急于攻城，而是命人大量砍伐树木，打造攻城器械的同时，准备了大量干草木材。
一日，天黑之后刮起大风，杨仆趁机率兵攻进番禺城，却并未采取常规的攻城方式，而是采用了放火烧城的方式。原来，杨仆早就得知，南越民居多为草木所建，最怕的就是火攻，而夜间采取火攻则无疑能够大大增加震慑力。
在汉军的火攻之下，番禺城中很快便燃起了熊熊烈火，城中军民乱作一团，杨仆趁机命令大军攻城。杨仆的火攻之术虽然狠辣，却也不愿造成太多杀孽，因而攻城采取了围三阙一的方式，独留西北给城中军民逃命。
在杨仆军攻打番禺城的同时，率兵驻守番禺城西北的路博德，则于城外竖起大旗，招降逃出番禺城的军民。南越人久闻博德的威名，再加上城中火大、城外汉军攻势凶猛，南越军民于是纷纷至路博德旗下投降。
攻城持续一夜，至黎明时分，城中守军已经大部分向路博德投降，吕嘉和赵建德见城池已不可坚守，遂在天亮之前率领数百部下出逃，乘船沿海往西而去。
杨仆率军入城之后不见南越王踪影，连忙告知路博德，路博德审问降兵，这才得知吕嘉和赵建德去向，立即派兵一路追捕。最后，赵建德被路博德的校尉司马苏弘擒获，而吕嘉则被原南越国郎官都稽擒获。
得知番禺已经被汉军攻破，吕嘉和赵建德亦被捕，南越苍梧王赵光随之选择投降。赵光虽与南越王室同姓，但其实并非宗室出身，他乃是长沙蛮苍梧族人，当初南越王赵佗自立为南越武帝，发兵攻打长沙国边境，为了笼络苍梧族人，这才赐予其赵姓，与赵光兄弟相称，并封其为苍梧王，而且还修建了苍梧王城，用以对抗长沙国。此外，将军毕取、揭阳县令史定等亦选择不战而降，桂林郡监居翁，更是劝说瓯骆四十多万人投降。
至此，由赵佗创立的南越国，在传承五代南越王，历经九十三年之后，终于被汉朝平定，汉武帝下诏于南越旧地设儋耳、珠崖、南海、苍梧、郁林、合浦、交趾、九真、曰南九个郡，各派官员治理。于是，包括两广、福建南部和越南北部地区等地在内的广大区域，正式被纳入汉朝统治。
杨仆、路博德将战事上奏汉武帝，当时汉武帝正在出巡新纳入大关中的河东地区，停驻于左邑县桐乡（今山西闻喜县北）的汉武帝闻讯大喜，并因此在桐乡设立了闻喜县。随之下诏封杨仆为将梁侯，加封符离侯路博德食邑六百户，苏弘获封海常侯，都稽获封临蔡侯，投降的南越文武官员亦多获封赏，其中苍梧王赵光获封随桃侯，揭阳县令史定获封安道侯，将军毕取获封膝侯，桂林郡监居翁获封湘城侯。
直到杨仆、路博德已经平定南越，西部的两路大军仍然没能赶到番禺，其中郑严、田甲率领的越人行动缓慢，番禺城破时他们还没能拿下苍梧。
至于驰义侯何遗，他在率领巴蜀被赦免的罪人南下后，却被阻拦在了夜郎东北部的且兰国（今贵州黄平县）。此前汉武帝开拓西南夷，且兰国归附汉朝，其君主被任命为且兰君，何遗率兵抵达且兰后，派使者前去征发且兰军队，且兰君担心军队远征会造成国中空虚，招致周边国家或部落乘机来袭，于是背叛汉朝，并杀死了汉朝使者和犍为郡太守，以致何遗军队无法按照原定计划南下。
此前，汉朝派遣大军南下攻打南越时，闽越国的东越王馀善担心殃及池鱼，便上书汉武帝，请求率兵八千跟随楼船将军杨仆攻打南越，想以此表明自己自己顺从朝廷的态度。当然，馀善根本没有打算真正帮着汉军作战，在率兵抵达揭阳后，他便以海上风大浪高无法进军为由停兵不前，非但没有参与对南越的作战，反而暗中派使者向南越通风报信。
南越平定之后，杨仆因此派使者上书汉武帝，请求顺势率兵平定闽越，汉武帝认为汉军长途作战数月，已经十分疲惫，再加上闽越没有明显反叛迹象，因而并未批准杨仆的请求，只是命令路博德率军驻守南越，安抚当地百姓，其余各路兵马则北上驻军于豫章郡的梅岭（今江西宁都县）一带休整待命，并试探闽越国的反应。
汉朝方面虽然并未打算攻打闽越国，东越王馀善自己却坐不住了，他听说杨仆上书请求征讨自己，又见汉军平定南越后并未撤走，而是留在了闽越边境地带的梅岭，便做贼心虚的认为汉军这是打算休整之后，便要进攻自己，于是决定先下手为强，趁着汉军疲惫之机抢先发动进攻。
当初，汉武帝在平定闽越王邹郢之乱后，将闽越国一分为二，分设越繇王和东越王统治，本是为了让两人互相牵制，然而东越王馀善凭借着杀死闽越王邹郢之功，声望遍布全国，越繇王繇君丑根本无法对其形成牵制。后来，繇君丑去世，其子繇君居股承袭其位，更加无力牵制馀善，馀善遂掌握闽越国政。
元鼎六年（前111年）秋，馀善私刻“武帝”印玺，自立为东越武帝，公然反叛汉朝，派兵据守通汉要道，并赐将军驺力为“吞汉将军”，命其率军攻入白沙（今浙江绍兴）、武林（今江西鄱阳）和梅岭地区，袭杀了汉军三名校尉，汉军守将张成和刘齿未敢出击，率兵退守安全地带。
汉武帝接到奏报大怒，以畏敌罪将张成和刘齿处死，随后调集四路大军攻打闽越，其中第一路由楼船将军杨仆率领，从武林出发，由崇安分水岭进军；第二路由横海将军韩说率领，从句章（今浙江余姚东南）出发，乘船渡海从闽越东部沿海登陆；第三路由中尉王温舒率领，从梅岭出发，由闽越西部进军；第四路由戈船将军郑严、下历将军田甲率领，从若邪（今浙江绍兴东南）、白沙出发，进攻闽越东北部。
为了应对汉军进攻，馀善分兵在今天的邵武、建阳、浦城、崇安一带筑城防守，自己则统兵据守今浦城县北的泉山进行顽抗。
元封元年（前111年）冬，杨仆率军击败镇守武林的闽越军队，斩杀守将徇北将军，其他各路大军水陆并进，纷纷攻入闽越境内。
留居汉地的越衍侯吴阳奉命返回闽越，劝说馀善放弃抵抗，被馀善拒绝后，吴阳便率本邑兵七百人攻占汉阳城（今福建浦城县北），馀善腹背受敌，不得不放弃天险泉山，撤退到冶都（今福建福州）。
面对汉军大军压境，闽越军队抵抗之心全无，纷纷临阵倒戈，繇君居股见大势已去，在横海将军韩说率兵自海上登陆后，遂决定效仿当年馀善诛杀邹郢降汉之事，与建成侯敖和越衍侯吴阳联手发动政变，杀死馀善后向韩说投降，闽越遂被平定。
战后，韩说因功获封按道侯；繇君居股因功获封东成侯；郑严虽然平定闽越有功，但因此前平定南越时作战不力，故功过相抵未被加封；王温舒虽然有功，但因平定东越归来后，议事不合天子的旨意，非但没有获赏，反而因犯法被判罪免官。
平定闽越后，汉武帝鉴于闽越狭小而多险阻之地，民众强悍，屡次反复无常。于是命令汉军将闽越民众全部迁徙到江淮一带居住。至此，闽越灭亡，国土虽被纳入会稽郡，但因百姓被迁走，国境成为空虚之地，直至二十五年后，逃遁山林的少数越人出来聚居，才成立冶县。
从元鼎四年（前112年）至元封元年（前110年），汉军历经两年征战，先后平定南越和东越。自此以后，汉朝东南边境再无威胁。