这时，李克用命李存璋等分攻晋州、洺州，使梁军往来援应，东西奔命。朱温也发河中、陕州的将士，驰赴行营，增添兵力。两下旗鼓相当，誓决雌雄，自梁开平元年秋季开战，直至二年正月，尚未解决。
李克用因军务倥偬，半年不解。他本来有病，免不得忧劳交集，以致疽发背中。卧床数日，无药可疗，自知来日无多。李克用即命弟振武军节度使李克宁，监军张承业，及大将李存璋，吴珙，掌书记吴质等，立长子李存勖为嗣。
李存勖是李克用与侧妃曹氏所生，自幼便善于骑射，胆略过人，心性豁达，深得父亲宠爱。他爱读《春秋》，略通微言大义，而且精擅音律，可谓文武双全。
乾宁二年，王行瑜联合李茂贞、韩建，攻入长安，谋废昭宗。李克用率军勤王，讨平三镇叛乱。李存勖时年十一岁，也随军征战，并入朝献捷。昭宗见他异表，特赏他鸂鶒卮，翡翠盘，抚着他的脊背说道：“儿有奇姿，他日富贵，毋忘我家！”后来，昭宗还对人称赞他“可亚其父”。意思是说，李存勖能超过其父亲，使父亲屈居亚军。李存勖因此得名李亚子。
不久，李存勖被授为检校司空，领隰州刺史，后改领汾州、晋州。天复二年，李克用因太原两次被梁军围困，无力抗衡朱温，为此忧虑不安。李存勖劝慰道：“物不到极点不会反复，恶不到极点不会消亡。朱温威逼天子，觊觎帝位，陷害良善，可谓是自取灭亡。我家三代尽忠王室，如今虽因势穷力屈无法报效，但也无愧于心。父亲应忍耐静观，积蓄力量，以待朱温衰弱之时再图复兴，怎能轻易就灰心丧气呢。李克用因而释然。
天祐三年，朱温遣军攻打沧州，幽州节度使刘仁恭遣使向李克用求救。李克用恼怒刘仁恭的反复无常，不愿发兵援助。李存勖却道：“如今朱温已占据天下的九分之七，连魏博、成德等藩镇也归附于他，黄河以北能与之对抗的只剩下我晋国和刘仁恭了。如果我们不救刘仁恭，形势将会对我们更加不利。而若出兵援助，可使我晋国重振雄风，万不能因嫌怨而失此良机。”李克用遂遣军攻取潞州，迫使朱温由沧州撤兵。
因此李克用益加钟爱，特令李存勖袭封。并对李克宁等道：“此儿志气远大，必能成我遗志，愿你们善为教导，我死无恨了！”接着又召李存勖到卧榻之前，叮咛嘱咐道：“嗣昭守卫潞，方被困重围，恨我不能亲身去就援，恐怕与他要长别了。我死后，丧葬事了，你速与周德威等竭力救他，不要让他陷没为要！”
李克用说到这里，又令取过平时佩带的箭袋，拔出三支箭。并将箭交给李存勖，说道：“第一支箭要你讨伐刘仁恭，你不先攻下幽州，黄河以南就不能拿下；第二支箭要你打败契丹，耶律阿保机与我握手结盟，结为兄弟，曾发誓说一起光复大唐江山，现在却背信弃义依附贼党，你必须要讨伐他；第三支箭要消灭朱温。你能完成我这三个愿望，我死而无憾了。”李存勖涕泣受命。李克用又对李克宁说道：“此后以亚子累你，你不要辜负了我！”说到我字，已是忍不住痛苦，一声狂呼，竟尔毙命。享年五十三岁。