公元617年七月，正值雨季，虽缓解了旱情，但却延误了李渊的行军计划。
大雨连绵不绝，仿佛要将整个世界都淹没，雨滴砸在地面，溅起一片片水花，瞬间将地面变成了一片泥泞。雨水顺着山坡流淌，汇成了一条条小溪，潺潺流向远方。
此时，回太原督运军粮的沈叔安尚未回来，出使突厥的刘文静也没有了消息，李渊正在帅帐内妄自发愁，探兵突然传来急报，称刘武周与突厥勾结，欲乘虚袭击晋阳。
李渊不禁不禁一惊，长叹道：“看来时机尚未成熟啊，还需速速返回晋阳！”
于是，李渊与召裴寂等人前来商议返回晋阳事宜。
他对裴寂等人说：“宋老生有勇而无谋，战则必败。但当务之急是刘武周与突厥勾结，恐怕会袭击我们的后方，我认为应当先返回晋阳，以观其变。”
大家讨论交流，皆表示赞同，大多人认为隋军目前虽是强弩之末，但兵力尚强，难以攻克，且李密狡黠难测，刘武周又唯利是图，故不如先回守本营，日后再图大业。
裴寂示意大家安静下来，担忧地说：“诸位，宋老生与屈突通的联军分别占据着险要地势，我们难以迅速攻克。李密在信中虽然口头上表示联合，但他为人利益至上，其心思谁也摸不透。这突厥人更是贪婪而无信，只看重眼前的利益。刘武周那种和胡人混在一起的人，更不可靠。太原是我们的重要据点，而且义军的家属都在那里。而且此时因雨季后勤物资未能及时得到保障，我军军粮急缺，我们不如先回去救援太原，稳固后方，再作长远打算。”
李世民听了，心中一愣，立即提出异议，说道：“现在田野里庄稼即将丰收，粮食怎么会不够呢？宋老生是个轻浮急躁的人，一战就能将他擒获。而李密那家伙，整天只想着占据大型粮仓，惦记着仓库里的粮食，哪有心思考虑长远战略。刘武周和突厥虽然表面上相互依附，但他们内心肯定是互相猜疑的。刘武周就算对太原有想法，他怎么敢轻易离开自己在马邑的根据地！我们现在是打着正义的旗号，奋不顾身来拯救百姓，应该直接攻打隋军，攻下长安城，这样才能号令天下。现在遇到这么一点小困难，刚起兵就想退兵，定会扰乱军心，降低士气，万一跟随我们的义军失去信心，一旦解散，我们回到太原那座孤城防守，那不是等着被敌人吃掉吗？到时候我们连自己都难得保全！”
李建成也觉得李世民的话有道理，补充道：“宋老生虽勇，然其兵新胜，骄惰已极，我军若乘胜进击，必能克之。”。
但李渊因顾虑重重，担心后方被袭，再次失去家人，却不听他们的劝告，执意催促部队出发返回。
李渊当即命左军为前军，先行出发退回晋城进行防御。
李世民听到这个决定后，决定再次进谏。然而，当他正要进帐时，天色已黑，李渊已经睡下了。李世民无奈，又急又气，在帐外嚎哭，声音传到了帐篷里。
李渊听到哭声，赶紧召见他询问原因。李世民哭诉道：“父亲，现在军队是凭着正义行动的。如果我们进攻，就一定能够攻克敌阵；但如果我们退缩，军队就会解散。一旦众人溃散，敌人就会趁机进攻，我们的生死就在眼前，这怎么能不让人悲伤呢！”
李渊听了李世民的话，这才如梦初醒，说：“军队已经出发了，这可怎么办呢？”
李世民赶紧回答说：“右军还在严整地驻扎着，没有出发；左军虽然已经离开，但雨地泥泞，他们走得并不远。让我去追赶他们吧。”
李渊看着李世民，笑着说：“看来我的成败都掌握在你手里了。你就去吧，我相信你。”
于是，李渊叫来李建成和李世民连夜出发，去追赶已经出发的左军。经过一番努力，他们终于成功地将部队追回，避免了可能发生的另一种结局。
进入八月，沈叔安将粮食运来，天公亦作美，雾霭渐散，云彩消退，日光洒下。
李渊命将士晒晾铠甲，整饬军械，绕行山脚，避开泥泞之路，抵达霍邑城下。
宋老生始终坚守城门，不肯出城应战。李建成、李世民兄弟二人带领数十骑精锐骑兵来到城下，挥鞭指挥义军前军，佯作要围城之势，并命军士辱骂宋老生。宋老生愤怒不已，实在难以忍受，遂率领三万大军出城迎敌。