到了道光年间，以徽商为主的两淮盐商所积欠清廷的盐课，已达到了几千万两白银之巨，由于盐商在政治重压之下根本无法还款，而普通老百姓则因为盐价太贵吃不起盐，为了改变这种困局，道光十二年（1832年），两江总督陶澍为了革除淮盐积弊，开始打破徽商垄断两淮地区盐业经营的垄断局面，下令只要有银子，都可以向官府购买盐票进行贩卖，史称票盐法。
票盐法开始实施后，逐渐激活了两淮地区的盐业经营，不仅推动了盐价的下降，而且使得两江地区的岁入增加了1000多万两白银，随着徽商盐业垄断特权的消失，徽州盐商也开始急剧衰落，而由于盐商在徽商商帮中的实力最为雄厚，徽州盐商的轰然倒塌，也全面昭示了徽商衰落的未来。
对此，徽商们想出来的办法，就是到处砍桃树泄愤，因为“桃”跟票盐法的推行者陶澍的“陶”同音，于是有人写诗戏说这件事说：“戏他桃花女，砍却桃花树。盛衰本有自，何必怨陶澍。”
5
就在徽州盐商衰落的同时，1851年，太平军之乱爆发了。
从1851年到1875年，太平军和捻军先后在南北方持续兴起，战火广泛波及清朝18个省的600多座城市，由于战争导致商路断绝，这就使得徽商们的日常经营陷于瘫痪，“自经兵灾，船稀商散”。