太祖少孤，为母所抚，爱敬尽于事亲，故以孝名闻于郡中。及长，身长八尺，容貌甚伟，习于文学，娴于武事。有英霸之器，超逸之才。更兼结纳贤士，知人善用。郡中皆谓公孙氏麒麟儿。熹平三年，年十八，为郡中吏，遇鲜卑寇边，将三十骑夜出卢龙塞，大破之，由是声震河北。韩当时为辽西郡武吏，程普为右北平郡长史佐吏，从太祖破敌，皆敬服，普自投门庭，当弃职相从，为元勋之最。从弟越、范，亦唯太祖马首是瞻。郡君闻之，大悦，以太祖郡之芝兰，武事虽佳，更宜别修经传，遂书荐太祖与从兄瓒、从弟越至洛阳缑氏山，拜于卢植门下。
太祖与同门往洛阳，过冀州，众皆宝车裘马，前呼后拥，日行于官道，夜宿于郡中豪右大家，独太祖曰：“往来别处，不可不先存问风俗。”乃行小道，入穷乡，尽知地理虚实。有钜鹿南和令崔敏者，为清河名士，见太祖，大惊之。曰：“吾见天下名士多矣，未有若君者也！君善自持，将来必成大器。愿以妻子为托！”
至洛阳，适卢植以平叛出为九江太守。太祖乃与族兄公孙瓒、族弟公孙越共学于缑氏山，瓒慷慨豪迈，越聪敏谨慎，帝师光禄勋刘宽见而爱之，尽收为弟子，传以家学《韩诗》。其中尤重太祖，常自言将以身后事托之。宽性洒脱，宽仁好酒，日携太祖等悠游，以是多识洛中人物如王邑、傅燮、许攸等。
太祖以缑氏地当要冲，四方贫困之士多至，恐有衣食无着者，遂设缑氏山义舍，往来之士，饮食