于是便留下了伯琮，将他以候选人的身份养育在宫中。
伯琮于建炎元年(1127年)生于秀州(今浙江嘉兴)，他的大世祖是太祖赵匡胤的第四个儿子八贤王赵德芳，伯琮入宫后，天资聪颖，博闻强记，异于常人，很受赵构的喜欢，受到后宫的重点培养，高宗派人以行宫新建书院为资善堂，作为伯琮读书的地方，并派学士富才赡作为赞读，伯琮也很争气，尊师重教，勤奋好学，随着年龄的增长，很快便成长起来。
按理说，伯琮被留在宫中之后，皇位继承人非他莫属了，但是他在宫中待了将近有20年，却没有被确立为太子，这让人匪夷所思。
究其原因，主要有两个方面：其一是赵眘非宋高宗亲生，宋高宗始终对他怀有成见，他希望多给自己留些时间，渴望出现自己能生育的奇迹;其二是宋高宗的母亲韦太后不喜欢赵眘，而喜欢另一个养育在宫中的赵琢，她一直劝高宗立赵琢为太子，，而深受赵构重用的秦桧则主张立伯玖为太子，因为伯琮对秦桧充满敌意，坚决主张抗击金国。，这使宋高宗在立太子的问题上一直摇摆不定，不知如何取舍。
最终，他想出了一个既可以不使韦太后生气，又可以考验赵眘和赵琢的万全之策：给他们两人分别送去10名绝色处女，待半个月之后再将这些绝色佳丽召回来认真查验，谁破处最少，谁将是皇位的最佳人选。
宋高宗想出的这个招数很管用，效果也很明显，送给赵眘的十个佳丽被召回来之后完好如初，而送给赵琢的十个佳丽却全部都不再是处女，最终，赵眘通过了宋高宗的考验，顺利地被立为太子，直至登上皇帝的宝座。
在封建社会，皇子皇孙地位尊贵，有个三妻四妾本是极为平常的事，贪婪女色、流连宫帏也不是什么大不了的事情，宋高宗何以竟用这种方法来确定太子人选呢?原因有二：
一是北宋以来，理学兴盛，以朱熹为代表的理学家提出“存天理，灭人欲”的理学观念，要求士大夫克己守礼，非礼勿听，非礼勿视，非礼勿动，禁欲主义成为伦理纲常的基本要求，朝廷上也要求皇族大臣清心寡欲、修身养性，从而形成了一种道德评判，所以伯琮的不近女色就成为道德高尚、品质端正的代表，受到高宗的钟爱。
二是