黄霸任太守时，汉宣帝勤勉政事，多次颁布诏书，恩泽天下，地方官吏却不让百姓知道这些诏书内容。

黄霸于是遴选品行优秀的下属官吏，分散到属县宣传恩泽诏书，让民众都能知道皇上的旨意。

同时，黄霸还注重听取百姓之声。

黄霸对待百姓宽大仁慈、暗中又明察秋毫，深得吏民拥护，郡内的户籍人口逐年增长，治绩天下第一。

宣帝非常高兴，征召他担任京兆尹。

不久，黄霸因为有过失而被贬，以八百石的官秩再度出任颍川太守，任职八年。

五凤二年，宣帝下诏表彰黄霸的吏治之功，封为关内侯，赐黄金百斤，俸禄升为二千石。几个月后，宣帝任命黄霸担任太子太傅，随后又提拔为御史大夫。

五凤三年三月，黄霸77岁，接替丙吉任丞相，封建成侯，食邑六百户。黄霸擅长治民，却不善于为相，任丞相时建树不是很多，风采不如前任，名声也比他治郡时有所下降。

黄霸担任丞相期间，召集九卿、博士一起接见各郡前往京师汇报政绩的官吏，黄霸想按照治理情况，对各地的官吏划分等级，恰巧京兆尹张敞家中的鹖雀飞到了丞相府，黄霸以为是神雀，便商议着想上书称瑞，后来知道是张敞所养，就没有奏报皇上。

张敞反对变更法令，就将事情的始末禀告了宣帝:“臣家的鹖雀飞到丞相府，在场的官吏都认得这种鸟，丞相问及，却都说不认识，可见众人都惧怕丞相的权势。

如今朝廷制定的法令，劝民从善，防盗禁奸，条文已经详备了，不可增改。

应该令大臣训示各地官吏，回去禀告郡守，推举人才一定要名符其实，郡中公务应依法而行，不可擅自制定法令。“

天子采纳了张敞的奏言，黄霸因此十分惭愧。

乐陵侯史高以外戚身份任侍中一职，名望很高，黄霸推荐史高可任太尉。

汉宣帝令尚书召黄霸质问说:“太尉一官废除已久，其职责由丞相兼管，这是为了息武兴文。如果国家动乱，边境吃紧，左右大臣都可领兵打仗。丞相的任务是宣明教化，评判冤案。任命将相是我的职责;况且史高是我的近臣，我深知他的才能底细，何劳你越职举荐他呢?“

尚书请丞相陈言己见，黄霸羞惭满面，连忙摘下帽子谢罪，数日后宣帝才裁定黄霸免罪。

从此以后，黄霸再也不敢向皇上进奏。然而自从汉朝兴起，讲到治理地方官吏民众的，还是以黄霸为第一。

黄霸任丞相五年，甘露三年寿终，享年82岁。

武帝后期，为加强中央集权而制定了极其严酷的法令，同时建立了察举制度，并任酷吏以严刑法。

昭帝继位后，朝中严格遵循武帝时期的法律制度，以严刑峻法来控制各级官员。

于是一些世俗官吏为迎合皇上旨意，就以在执法上能尽量采用严刑酷法作为一种有才能的表现，以能吹毛求疵作为衡量能力的标准。

黄霸断案却崇尚仁政，反对酷刑;对疑案坚持从轻处理;主张对犯罪实行外宽内明，教化为先，把重点放在防患于未然上，所以，黄霸为官，百姓拥护，朝廷满意，属下悦服。

黄霸任颍川太守时，得知某乡有孤独老人去世，没有后人来安葬，黄霸就亲自督管此事:哪个乡里治所的大树可以砍伐作为棺木，哪个驿馆饲养的猪可以用来祭祀等。

郡内官吏依言前去，跟黄霸所说一言不差。

黄霸的细心达到如此程度，可谓明察秋毫。

不知内情的人都称他是神明。奸邪之徒惧怕黄霸，只好去别的郡县，颍川郡内的盗贼随之日渐减少。

为了解民间情况，黄霸还常派官员微服私访，并亲自以平民身份，深入民间，关心百姓疾苦。

有一次，黄霸想要考察民间情况，就派了一名年长廉洁的下属秘密出行访察。

下属依言出发，微服出访，不敢在驿亭住宿，饿了就在路边吃些食物，这时忽然飞来一只乌鸦，叼走了他手里的肉。

恰巧有人要去郡衙，看到了这一幕，就对黄霸讲了这件事。

下属回来后，黄霸迎上前慰劳他，说:“太辛苦了!在路上吃饭还被乌鸦抢走了肉。“

下属大惊，以为黄霸对他外出的所有情况都已知晓，所以对所问的事情丝毫不敢有所隐瞒。

黄霸为政，教化为先，然后才用刑罚。

黄霸任颍川太守时，多次颁发刑律均告之于民，达到家喻户