桃酥南北皆有，业内归为南派点心之列。

江西人说它起源自江西景德镇。相传在元代，来景德镇做陶瓷工的某乡民是附近乐平人，他将自带的面粉搅拌成面团后贴在窑炉里烘焙。由于他常年咳嗽，有食核桃仁的习惯，有时会在面粉中加入桃仁碎末烘焙。此法做的干粮便于日常保存，也方便长途运送瓷器时携带，其他陶瓷工纷纷仿效，由此衍变出桃酥。

也有说是在烧热的陶罐上烤制的，名为“陶酥”，而后转称为桃酥。

江西的两种说法将桃和陶结合在一起了。江西乐平也推出“安牌桃酥”，先后荣获省优、部优和首届中国食品博览会金奖等，年产万吨，品种多样。

桃酥要么打着宫廷旗号，要么走山寨道路号称桃酥大王。