不能袭取窦建德，谋杀窦建德部将曹旦的计划又泄漏了出去，情急之际，只得与郭孝恪率领几十名骑兵归降唐朝。

武德三年（620年）四月，李勣随秦王李世民击败宋金刚，同年，李勣又随李世民讨伐王世充，奉命接管管州，王世充的儿子王玄应企图攻取管州，李勣将他击退，李勣又派郭孝恪劝降郑国荣州刺史魏陆，阳城、汴州也相继归降。武德四年（621年），郑国的郑州司兵沈悦，请求献出虎牢关降唐，李勣夜间埋伏军队接应，成功占领了虎牢关，抓获了郑国的荆王王行本，唐军整军回朝后，李渊论功行赏，李世民为上将，李勣为下将，他与李世民等二十六人一同身穿金甲、乘着兵车到太庙去报捷，李盖也从洺州与裴矩等人一起入朝，李渊见到他们后非常高兴，恢复了李盖的官爵。

武德五年（622年）三月，李勣在洺水之战中击败刘黑闼部将高雅贤，七月，李世民进击自称鲁王的徐圆朗，连取十余座城池，迫使江淮义军首领杜伏威入朝，李世民判断局势基本确定，便留下李勣和淮安王李神通、行军总管任瑰等人继续讨伐徐圆朗，自己班师回朝。之后，徐圆朗又占占据兖州再次反叛，朝廷授李勣为河南道大总管，前往讨伐，不久后，李勣成功擒获徐圆朗，斩下他的首级献给了朝廷，兖州就此平定。

武德六年（623年）八月，李渊命李勣和赵郡王李孝恭、岭南道大使李靖、怀州总管黄君汉一同讨伐江淮地区的义军首领辅公祏（shi），李孝恭、李靖率领水师沿着长江顺流而下，李勣率领一万步兵渡过淮河，攻占了辅公祏据守的寿阳，辅公祏的部将陈正通率领两万士兵屯驻在梁山，又派他的大将冯惠亮统帅水师三万，用锁链连接成大战船，阻断了长江的航路，陈正通还在长江西岸构筑堡垒，分守水陆两路，以抵御唐军。李靖等人首先攻破陈正通、冯惠亮等人所驻的博山、青林等地，然后进兵丹杨，辅公祏听到消息后大惊，企图率残部弃城东逃，李勣乘胜追击，在武康县斩杀辅公祏，并分别捕杀了他的余党，江南自此平定。

贞观三年（629年）八月，李世民接受了代州都督张公瑾的建议，命兵部尚书李靖为定襄道行军总管，张公瑾为副总管，决定对东突厥发起攻势，李勣被授为通漠道行军大总管，与华州刺史柴绍、灵州大都督薛万彻等人统率十几万军队，接受李靖的统帅，将分道出击突厥。李靖率精骑三千夜袭定襄（今内蒙古和林格尔北土城子古城），颉利可汗误判了唐军的兵力，仓促北撤道戈壁沙漠边缘，部众也大多叛离。同时，李勣从云中（今山西大同）出发，在白道（今内蒙呼和浩特北）与颉利可汗军相遇，唐军奋力冲杀，突厥溃不成军，颉利可汗战败后，逃往铁山（今内蒙古白云鄂博一带），苍茫收集战败的残部数万人，派使者向唐朝求和，朝廷命鸿胪卿唐俭、将军安修仁前去安抚。这时，李勣同李靖会师，二人商议后，李靖率兵连夜出发，李勣领军跟进，李靖行军到了碛（qi）口，突厥四处溃逃，颉利率部众一万多人想逃过沙漠，被李勣阻拦，突厥的大酋长率领自己的部落一起投降李勣，李勣俘获五万多人后顺利回师。

贞观十一年（637年），李勣被改封为英国公，世袭蕲（qi）州刺史，当时，朝廷所封的世袭刺史都只是挂名，不到州郡就任，于是他又以并州大都督府长史的官职遥领太子左卫率，李勣在并州任职共十六年，任职期间颇为称职。李世民曾对侍臣们说：“隋炀帝不能选贤安民，只知道筑建长城来防备突厥，对世情的认知糊涂至此。朕现在委任李勣在并州，就使得突厥畏惧他的威名逃走，边塞安静，难道不是远远地胜过筑长城来防御这件事吗？”

贞观十五年（641年）十一月，李勣被征调入朝，担任兵部尚书，他还尚未赴任，就遇上薛延陀真珠可汗派他的儿子大度设联同同罗、仆骨、回纥、靺鞨等部族，领军二十万南侵突厥俟利苾可汗阿史那·思摩，思摩率部众进入以男长城，退守朔州（今山西朔县），并派出使者向唐朝求救。十一月，朝廷命营州都督张俭统率所部直逼薛延陀东境，李勣被授任为朔州道行军总管，率步兵六万、骑兵一千二百人屯驻羽方，与灵州道行军总管李大亮、凉州道行军总管李袭誉等一同分兵抵御。大度设率三万骑兵追击思摩没有追到，却遭遇了李勣率领的唐军，大度设大惊，急忙从赤柯泺北撤，李勣挑选所部及突厥的精骑兵共六千人，穿越直道、白道川，在青山追上了薛延陀军，大度设在诺真水（今内蒙古乌兰察布市境内）勒兵备战，突厥骑兵先冲上去和薛延陀军交战，结果不利，大度设乘胜追击，射死唐军战马人马，李勣命骑兵下马