嫉妬されてたのと、
賄賂とかあまり受け取らなかったのが、
向かい風の原因ぽい。

蝦夷地開拓とか印旛沼干拓とかの拡大政策が旧来の質素倹約など後向な緊縮政策と相容れなかったんだろう。（同様に徳川宗春とか）
あと元々自分の身分が低かったので実績重視の人事をしようとして、家柄だけで無能な名門連中の反感を買ったらしい。