这首诗还流传着一个非常动人的故事。
中国历史上的南北朝时期，北魏分裂为东魏和西魏。东魏的高欢、西魏的宇文泰争夺势力，于是战争接连不断。
537年，宇文泰率大将李弼等，统率数十万精兵，攻打东魏，这一仗高欢军大败，几乎全军覆灭，于是，高欢只能退兵，养精蓄锐。
九年之后，高欢率三十万大军攻打西魏，要报仇雪恨。高欢的军队主要由鲜卑族人组成，勇敢强悍。然而虽采用了断水源、烧城楼、凿地道等办法，但由于西魏要塞玉璧（今山西境内）极其险固，高欢军队死亡七万余人，苦战五十余天，仍是屡攻不克。在这关键时刻，高欢精疲忧愁，病倒在床，无法上阵指挥，又一次因败而撤军。西魏派人潜入高欢军中散播谣言，说高欢已被西魏军射死，还编了一首歌谣让士兵到处传唱：
高欢鼠子，来犯玉璧。
剑弩一发，元凶自毙。
谣言与歌谣的确产生了作用，高欢的将士军心涣散，惶恐不安，开小差的越来越多。高欢此时怒火中烧，只好挣扎着起床来鼓励将士们同心协力，共度难关，但几次的激励都收效甚微。
高欢又一次把将士们召集起来，想鼓舞大家的斗志，可是话到嘴边又咽了下去，他觉得老生常谈实在乏味。正在这时，他一眼看到身旁站着的一位白发银须的老将军，猛然心生一计，拉住老将军低声说：“我早就听说老将军唱得好，今日何不为诸将士高歌一曲？”老将军明白了高欢的用意，因而也不推辞，轻拍几案，用鲜卑语唱起那首《敕勒歌》。老将军那苍劲高昂的歌声随风飘扬，将士们的心弦也被拨动了，情不自禁地和着曲调也一起唱了起来。歌声涤荡了人们心中的郁闷，脸上那委靡不振的神情消失了。尤其是来自草原的将士们，仿佛回到了苍茫辽阔、风景如画的草原故乡。此时群情激昂，为故乡而战的士气大振。因此，高欢抓住时机，整顿军纪，带领军队顺利地返回洛阳。