以灵渠周边区域为基地，秦军便可以通过漓江沿着珠江水系向两广各地进军。这次南征秦军的实际兵力有多少人？我们可以从几个细节来进行推测。

首先，屠雎、任嚣等秦军主帅身份都是“尉”。秦国太尉、廷尉等高官通常不单称为“尉”，单称为“尉”的一般都是都尉、郡尉之类中级军官。当年长平之战前期廉颇与秦军接战两次战败，共损失了六个都尉。由此来看，战国后期到秦王朝时代一名“尉”所统兵力，最多也就在万人上下。屠雎的部众 “楼船士”大概有万余人。任嚣后来作为新建的南海郡郡尉，实际节制南海、象郡、桂林三郡作战部队，加上秦始皇派来的流民、赘婿、商贾等充军者，人数会比这个数字大一些。即使在灵渠竣工后，从长江水系到珠江水系如此漫长而分散的后勤线，也很难负担起太多脱产人口。

任嚣病死后统率岭南驻军的赵佗曾派人上书秦始皇，希望皇帝能派给他三万名寡妇或者没有出嫁的少女，让岭南的秦军都能结婚。秦始皇答应并派出了一万五千名妇女。考虑到部分秦军可以与当地越人妇女通婚，我们根据这条记录可以大约推测，秦国征服南越后在当地的兵力在四五万人左右。其中大约有一半人不是正规军，而是作为民夫和武装移民的流民、商人、赘婿、罪犯。秦始皇很可能只按照正规军人数估算，并派遣了对应数量的妇女。

比起停留在部落联盟时代的百越，秦军的武器装备和组织程度有着绝对优势，而且百越各族内部有着大量互不归属甚至互为仇敌的部落，这种战事本身可谓降维打击。秦军最大的问题在于后勤，道路的艰难使得秦军的行进很难脱离水网深入百越腹地。现在，随着灵渠的建成，这种问题也迎刃而解，秦军可以通过筑城的方式控制水网沿线的平原地带。大部分山地则依然由百越部落聚居，需要经历许多个世纪的漫长岁月才被逐渐同化。无论如何，开拓两广、将其融入中国的进程，在这次南征后已经不可逆转的走出了坚实的第一步。

秦末天下大乱，岭南的秦军却既没有进中原参战，也没有参与中原逐鹿，而是在赵佗统率下选择了闭关自守。那么这一决策背后的原因又是什么呢？

按照太史公在《南越列传》中的口径，南海郡尉任嚣临终前原本就打算自守，但因为病重而把这一任务交给了当时只是龙川令的赵佗。赵佗于是让郡内士兵据守三个对外交通的要道，并且把不服从自己的部分“秦所置长吏”诛杀后换上了自己心腹。后来赵佗听到秦国灭亡的消息，于是受《淮南子》的误导，许多人会把赵佗所建立的南越国视为一个非常强大的政权，只是无法与中原对抗罢了。但西汉前中期的南越国历史证明，赵氏家族在南越国的统治，无论在政权内部还是与外部邻国打交道时，都算不上一个强大的政权。汉文帝时代，赵佗的孙子赵胡为南越王时，占据今天福建地区的闽越王入侵南越边境。赵胡解决这次边境危机的办法是，遣使向汉文帝求援，汉文帝派遣两位将军陈兵闽越边境，闽越国内部在压力之下发生政变，于是战争停止。从闽越主动入侵、南越第一时间请汉文帝介入来看，南越国此时的力量恐怕尚不如闽越。在汉朝这次干涉后，南越王赵胡更是把儿子赵婴齐派到长安当人质去了。

比起闽越更直接的威胁，则是南越国内部的越人豪族势力。早在秦军南征时，与南越女子通婚者恐怕就不在少数。其实，南越国在西汉年间的历史，便是对外受制于闽越国，不得不请汉朝干涉；对内受制于吕嘉家族为代表的越人豪酋。赵婴齐之子赵兴继位后，各方压力下的南越王室最终决定内附汉王朝，保全自己的平安和富贵。以吕嘉为代表的南越本土派，则毫不犹豫政变杀掉了主张内附的南越王赵兴及其汉人母亲，拥立赵婴齐与越人女子所生的另一个儿子为王，并最终在汉武帝所派汉军的打击下灭亡，岭南之地第二次成为中原王朝的郡县。从后来的历史来看，如果没有中原王朝的干预，南越国赵氏家族的统治多半会被国内的越人豪族所取代，或者在闽越国打击下逐步衰落。便吞并了实力较弱的桂林郡和象郡，全据岭南并自称南越武王。这里的时间线非常明确，秦始皇病死、中原义军纷起的消息传到岭南时，赵佗所在的南海郡选择了自守一方，不久后听说秦国灭亡，才完全控制了岭南。

秦始皇派兵南征百越时，参战秦军包含了大量原楚国地界的郡兵。今天广东地区出土的包括南越文帝墓在内大量南越时代文物，都有着相当多的楚文化元素，可见南征军队中楚人比例相当大。此外，秦军中还充斥着大量被视为下等人的各种充军人口和罪犯。这两者是岭南秦军主要构成