地方官员对灭蝗之举仍有反对意见。汴州刺史倪若水进言道:“只有修德才能消除天灾,前赵刘聪除蝗不成反而招致更大的危害。”他拒绝御史的指挥,不肯灭蝗。姚崇写信责备道:“刘聪篡逆之君,德不胜妖,陛下圣明之主,妖不胜德。古时州有良守,蝗虫不敢入境,如果说修德可以免除蝗灾,发生蝗灾就是无德造成的么?”倪若水不敢抗拒,只得配合捕杀蝗虫。[20] 在姚崇的坚持下,蝗灾的危害被减小到最低限度,虽然连年蝗灾,也没造成大面积的饥荒。
晚年荣宠
姚崇在京城没有住宅,寓居在罔极寺中,因疟疾卧床不起。唐玄宗每日派遣使者数十人,前去探病,每遇军国重事,
姚崇墓都命黄门监源乾曜去征求他的意见。后来,唐玄宗采纳源乾曜的建议,命姚崇搬入四方馆居住,并准许他的家属侍疾。姚崇认为四方馆存有官署文书,不是病人居住之地,极力推辞。唐玄宗道:“设置四方馆本就是为官员服务,朕安排您住进来,是为国家考虑。如果可能,朕恨不得让您住进宫里,您不要推辞!”
姚崇虽是一代贤相,但却教子无方。其子姚彝、姚异广交宾客,招权纳贿,遭到舆论的非议。中书主书赵诲接受胡人贿赂,因事情败露,被唐玄宗定为死罪,姚崇也极力营救。玄宗对此非常不悦,在赦免京城罪囚时,特意在敕文中注明,将赵诲流放岭南。姚崇为此忧惧不安,数次请辞相位,并推荐广州都督宋璟继任宰相。不久,姚崇被罢去宰相之职,改任开府仪同三司。
唐玄宗虽将姚崇罢相,但对他仍极为尊崇,让他五日上朝一次,遇到重大政事也专门征询他的意见。[24] 720年(开元八年),唐玄宗封姚崇为太子少保,但他却因病没有接受。
721年(开元九年),姚崇病逝,终年七十二岁,追赠扬州大都督,谥号文献。729年(开元十七年),唐玄宗又追赠姚崇为太子太保。