为了消灭北汉，周世宗柴荣曾御驾亲征，却是无功而返。赵匡胤登基后，一直想找机会消灭这个蕞尔小国。
大宋这次挥师河东，是第三次。早在五年前（乾德元年），赵匡胤就打过一次北汉。
乾德元年（963）七月，荆南和湖南刚刚平定，赵匡胤就派安国节度使王全斌（后来的伐蜀总司令），领兵闯入北汉边境。北汉向大辽求援，睡王耶律璟发来六万铁骑，王全斌看看不能取胜，攻克乐平（今山西省昔阳县）后，俘获敌人数千人而归。
乾德二年（964），赵匡胤命李继勋与康延泽等率步骑万余人进攻北汉的辽州（今山西左权），太原（亦称晋阳）将领郝贵超领兵来援，两军激战于辽州城下，宋军大获全胜。辽州刺史杜延韬见大势已去，便率领冀进、侯美籍等部下与三千士卒，献城投降。
北汉再次向契丹求援，耶律璟又发步骑六万人来取辽州。赵匡胤复命李继勋与曹彬、罗彦环、郭进等领六万大军迎战，大破契丹与北汉军于城下。
有了征灭荆南、湖南、后蜀的战斗经验，这次重整旗鼓，再战北汉，赵匡胤对其势在必得。在选将上，他首先想到的是征伐后蜀的大将曹彬，还有自己的“义社十兄弟”之一的李继勋。
李继勋，大名府元城（今河北大名东）人。郭威镇守邺都（大名府）时，李继勋投入郭威门下，后周初任殿前司散员都指挥使。高平之战，因功升任殿前都虞候，领永州防御使。柴荣攻辽，李继勋任战棹左厢都部署，后升为安国军（邢州）节度使。赵匡胤陈桥兵变，李继勋在邢州，没能参与。李筠叛乱，李继勋为昭义军节度使，镇守潞州，负责进攻北汉。乾德五年（967）加同平章事，为使相。
李继勋与北汉有过多年的战事交锋，对北汉的山川地理、用兵战法可以称得上了如指掌。此次征讨北汉，他也是最合适的主帅。
开宝元年（968年）八月，赵匡胤命昭义节度使李继勋统率一路大军从潞州进军，宣徽南院使曹彬统率一路大军从汾州进军，兵锋直指太原。
九月，北汉内部发生兵变，供奉官侯霸荣杀死北汉新主刘继恩，宰相郭无为又杀死侯霸荣，迎立太原府尹刘继元为国主。
北汉内部政权动荡，外部又有大宋步步紧逼，北汉陷入内忧外患、生死存亡的一线之间。刘继元见宋军来势凶猛，急急地向大辽请援，同时命侍卫都虞侯刘继业、冯进珂等领兵扼守团柏谷（今山西祁县东南），抵御宋军。
十月，宋太祖遣使到太原送去诏谕：若刘继元归附，可授平卢节度使；另外，赵匡胤也送给郭无为一份诏书，若北汉归宋，郭无为可授安国节度使。郭无为得诏后十分高兴，劝刘继元向大宋称臣。刘继元不肯，郭无为只能独自跟大宋进行间谍往来。
十一月，辽军兵马总管塔尔率大军驰援北汉，逼近太原。李继勋见久攻太原不下，现在又有辽军增援，为了保存实力，决定撤兵回师。
大宋又一次无功而返。
亲自出马
大辽就像北汉花钱请的保镖，时刻挡在大宋和北汉之间，一有点战事就出手，让赵匡胤很是郁闷。
开宝二年（969）二月，正当赵匡胤为北汉的问题耗费心机的时候，一个天大的好消息传到了他的耳中，大辽皇帝“睡王”耶律璟被弑身亡。此时正是大辽政权危急时刻，定然无暇西顾。
这真是千载难逢的绝佳时机。
二月初八，赵匡胤再次任命李继勋为河东行营前军都部署，侍卫步军指挥使党进担任副手，曹彬为都监，第四次出兵北汉。
为了防备契丹支援北汉，赵匡胤任命棣州防御使何继箔为石岭关部署，建雄军节度使赵赞为汾州路部署，彰德军节度使韩重赟为北面都部署，彰义军节度使郭延义担任副职，密切监视契丹的一举一动，坚决不能让大辽的铁骑向太原多前进一步。能拦住大辽外援，大宋就有了九成的胜算。
赵匡胤在长春殿设宴款待众位将领，同时宣布了一项惊人的决定：“朕要御驾亲征。”一石激起千层浪，这真是额外的福利。
“岑夫子，丹丘生，将进酒，杯莫停……”那夜的壮行酒，大宋君臣喝得豪情万丈，喝得地暗天昏。
十一日，赵匡胤任命开封尹赵光义为上都留守，枢密副使沈义伦为大内部署、判留司三司事。为了一雪前耻，赵匡胤正式下诏御驾亲征，就为彻底拿下北汉这块硬骨头。
赵匡胤兵分三路：命曹彬、党进统率前锋军队先行奔赴太原，李继勋、赵赞统率中军从侧翼跟进，自己亲率主力大军跟进。
十七日，宋太祖率领大军从京城出发，出兵河东。
党进，朔州马邑（今山西朔州）人，早年曾为杜重威家奴，后参军，目不识丁，但孔武有力，为人质朴。
在禁军任高级将领时，他见禁军其他将领都把手下兵马器甲的相关数据写在木棍上，以备皇帝查问，他便加以效仿。
一次，正好遇到赵匡胤来视察，由于不识字，木棍上虽有数据，党进也无法回答，只得将自己的木棍呈给赵匡胤，道：“皇上问的都在上面。”赵匡胤看后哈哈大笑。
这次北伐，党进能被赵匡胤选中，任命他为河东行营前军副都部署，给他建功立业的机会，也是看中党进的勇武、直率，不会结党营私。
人算不如天算，此次出兵，让赵匡胤没有想到是，当曹彬、李继勋统率大军进入太行山后，在北方酷寒之季的山西，竟然天降大雨。
这是一场千年难遇的大雨，足足下了半个月，从二月二十八开始，大宋军队被大雨死死的挡在了潞州，整整停滞了半个月。
没有大辽撑腰，北汉军一路狂败。
三月十八日，李继勋在太原城下大败北汉军队。
二十一日，赵匡胤的主力大军来到太原城下。
击退杨无敌
刘继元继位后，任命侍卫都虞候的刘继业与冯进珂领兵镇守团栢谷，抵御宋军。
刘继业，本名杨继业，北汉第一勇将，人称“杨无敌”。并州太原人，后汉麟州刺史杨弘信之子。由于很能打，被北汉世祖刘崇赐名刘继业。
刘继业后来归顺大宋，改回原名杨继业。他就是杨家将里，七郎八虎的爹，八姐九妹的父亲，佘老太君的丈夫，赫赫有名的老令公杨继业。大宋朝的擎天博玉柱，架海紫金梁。不过此时，他还叫刘继业，是北汉最厉害的将。
赵匡胤亲征北汉，刘继业、冯进珂自知寡不敌众，撤回太原。刘继元震怒，褫夺二人兵权。
赵匡胤一到太原，就在城外布下四座大寨，党进的兵马驻扎在城东。
是夜，刘继业趁宋军尚未安营，率数百骑兵突袭东门大寨。党进仓促应战，率随从数人大败刘继业，一直追击到城边。
刘继业连滚带爬跳到护城河里，一阵狗刨，游到城墙根下，大喊救命。
守城的北汉将士，一看是自家的将军，赶紧从上面放下一个箩筐，把刘继业拉上城头。灰头土脸，一身落汤鸡的刘继业这才得以幸免被俘。
杨家将在大宋威名赫赫，声名远扬，这一次是老令公杨继业的军事生涯中是为数不多的败绩。
开宝二年（969）六月，刘继业随郭无为率兵突围，又一次坠马伤足，再次退回城中。
水淹太原
太原城防坚固，高垣厚垒，赵匡胤是清楚的。当年在清油观，救下京娘，送其回家，至今，仍历历在目。
断了大辽铁骑的增援，考虑到短时强攻不可取，赵匡胤决定打持久战，慢慢玩，他命人在汾河上架起一座新桥。
隔三差五组织士兵攻城，始终攻城不下。太原城四周护城河又宽又深，完全打消了赵匡胤通过挖地道进城的想法。
这天，巡逻的兵丁在护城河里捞到一只莲花灯，灯上有一行小字“水流无限”。赵匡胤不解其意。
曹彬道：“臣读诗豪刘梦得《竹枝词》，记得里面的四句：‘山桃红花满上头，蜀江春水拍山流。花红易衰似郎意，水流无限似侬愁’，陛下现在愁的是如何攻下太原城，似乎‘水流无限’可以解除我们的烦忧，莫非有人提醒我们用‘水攻’”
赵匡胤一拍大腿，“水攻好啊！朕怎么就没想起来呢！”
开宝二年（969）三月，赵匡胤决定采用水攻，引汾河水淹灌太原城。
命人征发太原附近各县的几万名男丁集中在太原城下，筑起一圈长堤，将太原城围起来。大军后撤，在太原城四周建立营寨，太原城南是李继勋的军队；太原城西是赵赞的军队；太原城北是曹彬的军队；太原城东是党进的军队。一切准备完毕，赵匡胤命令大军掘开汾水、晋水，太原城四面慢慢被大水淹没，瞬间变成了水中的一个孤岛。
大水从城墙下的沟渠暗道和城门处，纷纷涌进城内。刘继元派人用石头砖瓦和泥土封堵各处河道涵沟，还有东西南北各处城门。城内到处是河水带来的漂浮物和死老鼠、牲畜，北汉军民纷纷叫苦不迭。
刘继元几次派人突围，均未能成功，他期待的契丹援军迟迟未到，郭无为劝其降宋，刘继元不肯。
四月，接到北汉求救消息的大辽，第一时间组建援汉军团。契丹兵分两路，一路走太原附近的石岭关，一路直扑大宋重镇定州。赵匡胤早已做好了准备，张开大网等着大辽援兵到来。