国师塔是为了纪念顺治皇帝的老师玉琳国师所建。玉琳国师俗名杨通琇，江苏江阴人。清顺治十五年（1658年），世祖福临召当时的武康名僧玉琳进京，对之“慰劳优渥”，送居万善殿，不时屈驾前往“临访道要”。因玉琳和尚出语敏捷，善于应对，很得顺治帝的欢心，特赐号“大觉禅师”，以后又晋封“大觉普济能仁国师”，玉琳曾受命在京城阜成门慈云寺为一千五百个和尚讲经说法，并曾领大弟子给皇帝“作佛事七昼夜”，真是极备荣宠。但这位高僧不乏自知之明，正当声誉日隆时，便急流勇退，辞归山林，这一来更得朝野的尊崇。 有的说他“于荣利无毫发矜重”，有的说他“如野鹤孤云，无所留碍”。康熙十四年（1675年），玉琳国师六十二岁时南游，止于（淮阴）慈云庵，跌坐而逝。雍正十三年（1735年）皇帝拨专款在原先慈云庵的基础上扩建“慈云禅寺”，乾隆四年（1739年）建成。寺后还建有“能仁国师塔” 。
咸丰十年（1860年）慈云寺毁于兵火。同治元年（1862年），住持僧静修又募资重建，自殿宇神堂及门庭设施，全部恢复旧观。
民国七（1918年），军阀盘踞淮阴，部队强占寺院，致使慈云寺第二次遭受火灾，烧毁大雄宝殿。
现在慈云寺古刹只剩下金刚殿、藏经殿、后殿及部分偏殿、耳房，是一处有待修复的古迹。