在朱棣登上皇位后，姚广孝白天辅佐朱棣，尽人臣之事，晚上修佛养性，行僧侣之职。姚广孝虽仍参与朝务，但一直居住在寺庙里，过着非常清贫的生活。
“靖难之役”后的姚广孝，低调内敛，毫不张扬，其白天上朝，晚上依然与青灯古佛作伴。对朱棣的赏赐，大多拒绝。金银财宝，也都散给宗族。所以，姚广孝也得了一个“黑衣宰相”的称呼。
世人俗称其为“黑衣宰相”。其虽无宰相之名，但有宰相之实。
奇才：编纂《永乐大典》设计永乐大钟
永乐十六年(1418年)三月十八日，姚广孝病逝于庆寿寺，享年八十五岁。这在古代可算得上是老寿星，死后被皇帝葬在了今天房山区的常乐寺村。永乐皇帝还亲笔为他题了一座“神道碑”以示纪念，表彰这位永乐朝第一谋士。然而姚广孝的奇谋却并不是他留给后世的最大贡献。
中国历史上有两部最重要的大型汇编书，一部是清朝的《四库全书》，被称为中国古代最大的丛书;一部是《永乐大典》被称为中国最大的百科全书，这本大典字数多达三亿七千万，可惜的是没能流传于世。后者的总编纂官就是姚广孝。
姚广孝的文采不在清代第一才子纪晓岚之下。北京大钟寺那口永乐大钟的设计师和监造人是姚广孝;在主持“崇国寺”之前，太庙的主祀官也是姚广孝;朱棣修建北京城大批南方的能工巧匠被征集到北京，主办者又是姚广孝。
如此看来，这第一奇人的名号似乎真是非姚广孝莫属。因为从紫禁城的设计，到《永乐大典》的编纂，再到永乐大钟的铸造，假如没有姚广孝这位奇才的参与，今天的北京没准儿还真要逊色几分。
永乐十六年，姚广孝坐化于庆寿寺，终年84岁。追赠荣国公，谥号恭靖。朱棣亲自撰写神道碑铭，并以文臣身份入明祖庙，是明代第一人，也是唯一一人。