赫德首先做的，是建立新的会计制度。
清代海关原来的会计账簿是落后的四柱式。在旧式会计账目中，不但所有陋规和灰色收入不能体现，甚至收到的“正税”也存在被化公为私的现象。
1865年，赫德对中国海关最早的记账形式进行了改革，他淘汰了中国传统的旧式清册，建立了一套“严格的、详细的和绝对可靠的”会计制度。在这个过程中，他得到了英国财政部公共会计委员的指点和帮助，因此中国海关会计制度体系的基础是英国公共财产特别委员会制定并于1866年实行的所谓英国新财政制度。
这套新制度对海关税收的上缴和留用可以进行详尽的便于查询的记录。明晰的财会记录使得做假账更加困难，从而有效地遏止了海关腐败行为的滋生，提高了海关行政的效率。
配合新的会计制度，赫德还建立了有效的审计制度。他专门设立了稽查账目税务司，作为一个独立的机构，对各关财务会计制度进行监督。其中正稽核专门负责巡视各口海关，每年至少去每个港口检查账薄和账目一次。稽查方式是抽查，“他会出其不意地下去并做到：1.账目一直记到最近的;2.金库金额和账簿试算表相符合;3.因为人们不知道他什么地方不检查，所以他的巡查就将使一切都更加仔细。”
稽查税务司的权力很大，每到一处，正稽核就马上接管保存结余或相关的单证及支票和存折的保险柜的钥匙和全部账册，不受任何干扰。一旦发现有未经授权的支出、滥用公款或其它不正当行为，他就有权停止任何税务司或负责关员的职务。
赫德做的第三件事，是人事制度改革，对海关进行换血，把海关重要岗位基本上都换为外国人。赫德坚持，总理衙门必须赋予他人事的全权，“总税务司是唯一有权将人员予以录用或革职、升级或降级，或从一地调往他地者”。
这一制度的要点是“进人必考”。其他任何人和机构，包括他自己都不能安插自己的私人。在这方面赫德主要借鉴的也是英国经验，因为当时的英国已经拥有一套高效廉洁的文官制度。赫德在选择海关雇员时实行全球招考、公开选拔，先后在上海、九龙、广州、青岛和伦敦等地设置考点，不管是谁介绍来的人，必须参加考试。
赫德在广州有位牧师