而且朝野上下几乎人人都知道李隆基谈到高力士时经常说到的一句话就是：“每当遇到有高力士值夜班，我就能睡得特别安稳。”高力士很少回到自己的外宅，而是经常住在宫中，还就住在皇帝寝宫旁边。
因为高力士同李隆基的关系极其密切，李隆基对高力士又非常信任，所以高力士就成了除李隆基外所有人都要敬八分的角色。太子见了他要尊称一声“二哥”，各位王爷、公主要叫他阿翁（当时对父辈的敬称），驸马们就得直接叫高力士爷（当年对父亲的标准称呼）了。
虽说高力士后台很硬，能量很大，但这位大太监平日里却是个相当低调的人，而且他也并非一个坏人。他待人亲切，几乎从不对人发火，唯一的缺点可能是有时候显得有些冷血，比如他自己的至亲好友要是犯下了大罪，他从不会出手相救。所以这么个人几乎是不会参与到朝廷的政治斗争中去的，这也是李隆基对他放心的很重要的一点。
当然，所谓几乎没有，那意思就是曾经有过。而那一次高力士的对手恰好是李隆基的另一位重要亲信——王毛仲。
王毛仲是中国历史上屈指可数的几个从奴隶走上将军岗位的人物，上一个历史上能达到和他差不多高度的人，还是汉朝的卫青。不过王毛仲要比卫青差很多，至少在低调做人这一点上，他和卫青之间要差十来个高力士。