满族高官无能，终于导致了可怕的“书办专政”，国家的治权就落到低级汉族文人手中，而那些想为国家效力的高级汉员就被排挤在一旁。这种现象不仅在雍正之子乾隆一朝延续，而且到了乾隆之子嘉庆时代成了难以治理的弊病。嘉庆九年（1804年）六月，针对吏部的书吏（与书办同类）私用印信做假档案提拔官员大案，皇帝批示曰：“奈何诸臣全身保位者多，为国除弊者少；苟且失责者多，直言陈事者少。甚至问一事则推诿于属员，自言堂官不如司官，司官不如书吏。自大学士、尚书、侍郎以及百司庶尹，唯诺成风，皆听命于书吏，举一例牢不可破，出一言唯令是从。若堂司如此庸碌，书吏如此狡猾，上无道揆，下无法守，太阿倒持，群小放恣，国事尚可问乎？”
雍正朝的杜滨参奏西琳与武格的事情发生在雍正六年，据嘉庆九年的吏部书吏舞弊案有76年的时间，整整地涵盖了乾隆一朝（1736-1795年）六十年。问题从雍正的不肯认账，只说“一二丧尽天良之人”，到嘉庆说“诸臣全身保位者多”，无奈地承认现实，其间乾隆的盲目与武断是巨大的促成因素。首先，他不愿为老领导即他老爹雍正朝的满族高官无能而占位的恶劣官风负责任，仍然认为是个别现象，即“一二丧尽天良之人”在坏事；其次，他虽然也是满汉一体政策的推行者，但本质上对汉人仍然戒心深重。就杭世骏于乾隆八年（1743年）所提的建议来说，根本不是借题发挥，而是在于促成皇帝革除旧弊。
这年二月，举行了一场选拔御史的考试，愿出任的人每人提交一份政论文。于乾隆元年（1736年）应博学鸿词科入仕的杭世骏，此时48岁，正值为朝廷干大事的年龄，所以他选革除满汉界限为论题。他认为，此种选择既符合满汉一体的国策又能提高行政效率，就写道：“任何主张与见解都不能事先设定，因此，满汉之间的界限不能分得过细。满洲的贤才很多，但与汉人比较，只占十分之三四而已。事实却是，全国的巡抚常是满汉各一半，总督则没有一个汉人。国家为什么还坚持重满轻汉的政策呢？”就表面文章来论，杭世骏已经掌握得很有分寸，违心地说了“满洲贤才很多”那样的客套话。但是，乾隆不认为杭世骏是在客气地说事儿，他认为杭世骏是“见解悖谬，语中挟私”。大怒之际将杭世骏革除官籍，“滚回老家待着吧！”
说杭世骏“语中挟私”也不无道理，因为在朝为官的他深有体会：皇上召见时，满族官员自己不等点名就自主进殿，而汉员则必等点名，此足以说明“满贵”而“汉贱”。也正是这点儿“私心”即如此体会才促使他把问题上升到国政层次去讨论，更何况前代名臣魏裔介对此问题已有所涉及呢？所以，当时与杭世骏相识的人都看到他乐观的情形：他交完论文后，有点得意忘形，想与同僚们一起喝一壶。
在皇帝那边呢？大内人士后来传出消息说：皇上看了杭世骏的论文后大怒，把论文扔在地上好几次，扔了又捡回看，看了又扔，真是气坏了！
杭世骏这边酒饭未备，大内就传出旨意将他开革，赶回老家去。若是一般的等闲人物，笑容肯定要冷冻在脸上，是为哭笑不得。然而，杭世骏毕竟是博学鸿词科选上来的超级才子，他对惊恐不已的同僚们说：“怕什么呀？就算是砍头也会拉到闹市口去砍，污染不了此处我们同住的官寓。”
难得自由身！杭世骏回到老家仁和县（今杭州）不久，很快转到扬州，在一所叫“安定书院”的民间学术机构讲学，一干就是几十年，从无倦色。教书的同时，他还写书、画画，好不自在！既有自由，就难免放纵，如嗜钱好赌就成了他的经典表现。
杭世骏好钱确成癖症，比方说，他每月从书院发给的工资里取出官方正版、品相又好的三枚钱串起来，放在床上，时间一久，积攒了有一尺之厚，还有，他还把收敛破铜烂铁和民间私铸的杂钱，每每倒腾一遍，就弄到了“两手非墨污即铜绿盈寸”的地步。
弄到“铜绿盈寸”的传说也许有些夸张，但以教书著书为业后的杭世骏嗜钱成癖却从不贪图非分之财。有一次，一位商人得罪了管其行当的官员，而该官员一向佩服杭世骏的为人，所以，商人就去杭世骏那里求情，“夜半走先生所乞救，并置重金于案上”，没想到杭老先生一挥手将钱袋给扔出门外。
用自己教书挣的钱和卖破铜烂铁换的钱回老家赌钱，也是杭世骏的一大乐趣。并且，老先生赌钱从不偷偷摸摸，而是在桥边的公开场合大练手段。有一次，朝中官员钱维城到浙江省视察学政，住在杭州，他作为学中晚辈（乾隆十年考中状元，比杭世骏小24岁）希望与文名正盛的前辈杭世骏见一面。钱维城作为中央派出的官员颇有气派，又时值盛暑，就坐轿子、高撑遮阳伞，往杭世骏住宅去。正过杭世骏日常赌钱的场所附近的望仙桥，也是钱维城眼尖，一眼就看出杭世骏来，只见杭世骏身穿短衣、手摇蕉扇（而不是文人用的纸折扇），吆五喝六地与“诸少年博正酣”。钱维城下了轿，到杭世骏面前抱拳作揖，说：“前辈在此乎？”
其实，杭世骏的眼睛余光已经看见钱维城下轿，马上不摇扇子，而是用扇子遮住脸，企图混过去。等到钱维城这么一问，他也没了办法，只好讪笑：“你看出我来啦？”