胖小孩这一粗鲁的举动彻底葬送了高宗原本对他仅存的一丝好感，最终，高宗打发走了胖小孩，将赵睿留在宫中。按理说，赵睿被留在宫中之后，皇位继承人非他莫属了，但是他在宫中待了将近有20年，却没有被确立为太子，这让人匪夷所思。究其原因，主要有两个方面：其一是赵睿非宋高宗亲生，宋高宗始终对他怀有成见，他希望多给自己留些时间，渴望出现自己能生育的奇迹;其二是宋高宗的母亲韦太后不喜欢赵睿，而喜欢另一个养育在宫中的赵琢，她一直劝高宗立赵琢为太子，这使宋高宗在立太子的问题上一直摇摆不定，不知如何取舍。
最终，他想出了一个既可以不使韦太后生气，又可以考验赵睿和赵琢的万全之策：给他们两人分别送去十名绝色处女，待半个月之后再将这些绝色佳丽召回来认真查验，谁破处最少，谁将是皇位的最佳人选。宋高宗想出的这个招数很管用，效果也很明显。送给赵睿的十个佳丽被召回来之后完好如初，而送给赵琢的十个佳丽却全部都不再是处女。最终，赵睿通过了宋高宗的考验，顺利地被立为太子，直至登上皇帝的宝座。
后人评价赵构，说他一生行事，唯选太子最称公允。能上慰天地，下慰祖宗，仅此而已。然而，一则有宋太祖的先例，二来自己没有儿子，所以选立孝宗，也实在是出于无奈罢了。
我国历史上也是唯一一次用少女的纯洁来选太子，哈哈！