当燕、赵对秦做最后挣扎时,根本无暇顾及塞外,而始皇初并六国忙着辑绥内部,也暂把边事抛开,因此胡人得到了复兴的机会。旧时赵武灵王取自匈奴的河套一带,现在复归于匈奴了,而始皇三十二年,甚至还出现了“亡秦者胡”的谶语。于是始皇派蒙恬领兵三十万北征,不久就收复了河套,并且进展至套外,始皇在新得的土地上设了九原郡。为谋北边的一劳永逸,始皇于三十三至三十四年间,又经始两件宏大的工程:其一是从河套外的九原郡治起,筑了一条长一千八百里的“直道”,直通关内的云阳(今陕西淳化县西北,从此至咸阳有泾、渭可通);其二是把燕、赵北界的长城,和秦国旧有的西北边城连接起来,大加修葺,傍山险,填溪谷,西起陇西郡的临洮(今甘肃岷县境),东迄辽东郡的碣石(在渤海岸朝鲜境),这就是后世有名的“万里长城”。
始皇经营北边,有一半是防守性质,但他开辟南徼,则是纯粹的侵略。
现在的两广和安南,在秦时是“百越”(越与粤通)种族所居。这些种族和浙江的於越大约是同出一系的,但文化较於越远为落后。他们在秦以前的历史完全是空白。在秦时,他们还过着半渔猎、半耕稼的生活,他们还仰赖中国的铜铁器,尤其是田器。他们还要从中国输入马、牛、羊,可见牧畜业在他们中间还不发达。不像北方游牧民族的犷悍,也没有胡地生活的艰难,他们绝不致成为秦帝国的边患,但始皇却不肯放过他们。灭六国后不久(始皇二十六年?),他即派尉屠睢领着五十万大军去征百越,并派监禄凿渠通湘、漓二水(漓水是珠江的上游),以便输运。秦军所向无敌,越人逃匿于深山丛林中。秦军久戍,粮食不继,士卒疲饿,越人乘机半夜出击,大败秦军,杀屠睢。但始皇续派援兵,终于在三十三年把百越平定,并在他们的土地上,分置南海郡、桂林郡和象郡(南海郡略当今广东省,桂林郡略当广西省,象郡略当安南中北部)。百越置郡之后,当时中国人所知道的世界差不多就完全归到始皇统治之下了。琅琊台的始皇纪功石刻里说: