在处理违规行为上，赫德非常果断，坚持有法必依，执法必严，从不搞“下不为例”。“贪污、侵吞、挪用、受贿等不廉行为者，一经税务司上报总税务司，将予立即开革”。这一点他说到做到，甚至自己也会主动负连带责任。1873年4月，一个副税务司的失职造成了海关23000两银子的损失，赫德认为自己有失察之责，用自己的钱填补了这个亏空。
关于道德约束和制度约束，赫德与中国官员进行过一次有趣的讨论。1864年7月29日，赫德同中国官员董恂和文祥一起漫谈“道德”这个话题。赫德回忆：“我说中国人和我们不同之处可以追溯到根本的出发点:中国人说人性善，我们说人性恶。中国人因而求助于教育养成的规矩;我们则通过“惩”，对违法进行治理和处罚，树立法律和规章。”
配合以上制度改革，赫德还进行了工资制度改革。我们讲过，清代旧式海关各级工作人员名义上工资都极低，表面上看差不多是给大清帝国免费打工，但是实际上他们却个个都是超级富翁。赫德说：“中国的祸根在于官员薪俸低微不足。”
赫德说，为了使海关改革卓有成效，必须用支付高薪的方式使关员们保持廉洁。“一切费用，不可减少。若少，则所用之人，必为奸商所买。”
赫德制定了《中国海关管理章程》，实行高薪养廉。但是前提是公开透明，把海关关员的收入晒在阳光下。以华人为主的职务，工资虽然低于洋员，但是与中国社会的普通标准比起来也是非常高，几乎是其他国家相应的行政机关的两倍。除了基本年薪外，关员还享有年度奖金和福利津贴。员工在海关工作一定年限后能获得一笔额外的工资，如表现突出还会得到额外奖金和加薪。在海关干得越久，获得的待遇就越高，保障也越丰厚，这无形之中提高了海关人员的参与腐败的成本。
高薪养廉制度使关员无后顾之忧，也不必去冒贪污中饱的巨大风险，也保证了关员们的工作热情，促使他们长期地为海关效力。“新关之所以能如此高效运作与其高薪的工作报酬是直接相关的。”
综合起来看，赫德的几项管