金日磾随侍在皇帝身边几十年，尽心尽责，目不逆视。皇上赐给他的宫女，他也不敢亲近;皇上想娶他女儿为嫔妃，他也不同意。其敦厚谨慎如此，让皇帝特别惊异和感动。
汉后元二年(公元前87年)二月，汉武帝病危。当时新立的皇太子刘弗陵只有八岁，皇帝就让霍光(即霍去病同父异母的兄弟)辅佐太子，霍光便推荐了金日磾，并对汉武帝说：“臣不如金日磾!”金日磾却说：“臣，外国人，不如光，且使匈奴轻汉矣!”(见《资治通鉴.汉纪十四》)遂以霍光为大司马、大将军，金日磾为车骑将军，太仆上官桀为左将军，三人受诏共同辅佐太子。当年，汉武帝驾崩于五柞宫，太子刘弗陵即位，是为汉昭帝。可惜金日磾仅辅佐新主一年余，也因病去世了。
这就是匈奴王子成为汉武帝的托孤大臣的故事。一个匈奴王子能如此忠心耿耿地为汉朝皇帝服务几十年而不变，殊为不易。一个匈奴王子之所以会如此，除了他本身的忠诚特质和他母亲的教育管束得法外，与汉武帝不拘一格的用人节操也是有很大关系的。