经过使劲回忆了之后，灵秀和尚想起来自己俗家姓名杨延德，是大宋原右领卫大将军杨业的第五子，人称杨五郎。六十多年前，官封步军都指挥使的他跟随父亲去和辽国契丹人作战。
不懂战争的监军王侁瞎指挥，逼迫杨业和杨延德父子出战，结果在金沙滩落入了辽军的重重包围。韩国公、行营都部属潘美的援兵迟迟不至，最终使得杨业力战身亡，宋军大败。
杨五郎拖着半条命从死人堆里爬出来后，为了躲避契丹人的搜捕，剃掉头发跑进了五台山文殊院。在那里，心灰意冷的杨延德受到佛祖感召，结果真的就割断凡尘出家了。
但不知道怎么走漏了消息，契丹人追到文殊院来抓他，头戒疤还没凝固的杨五郎只好再次逃跑，一口气就跑到了嵩山，拿着文殊院方丈的介绍信入了少林寺，法号灵秀。
不管是杨五郎杨延德，还是灵秀和尚，这一辈子都挺倒霉的。
少林寺‘灵’字辈和尚里，灵秀和师弟灵门的感情最好，师兄弟二人十多年间真如亲兄弟一般。灵门文武双全佛法高深，是少林寺重点培养的接班人。灵秀半路出家，有点不着调，五十年前他拉着灵门师弟去山下偷看农妇洗澡，被方丈师傅智衍抓了现行。
灵门被罚面壁一年，灵秀没有面壁，他被罚出寺云游化缘十年。重点培养和打酱油的和尚，待遇肯定是不一样的。
他走出山门的那一天，师弟灵门哭得很伤心，让他一定要回来。师弟比他小很多，他其实在把师弟当儿子哄。
灵秀和尚佛法不行，在金沙滩受重伤后武功也不行了。走出少林寺后，他一路往南云游化缘，因为南方富裕也比较太平。
六年后，他在江浙一带已经化到了很多钱，也准备要往回走了，却不料被一个叫金台的恶人盯。
金台虽然十分年轻，但武功很厉害，灵秀根本就不是对手，结果化缘来的银子被抢了，他也被追杀到了海。
然后他的船又被风浪打翻，好不容易被过往的船只救下，没想到这却是一艘海盗船。