只要不出轨就不该离婚吗

结婚四年，似乎丈夫从来都不记得我的生日。什么情人节结婚纪念日也不会想到给我制造什么小浪漫。最让我无法忍受的是他脾气非常暴躁，动不动就和我吵。吵急了还要摔东西。就算在孩子面前，他也从来不会控制自己的情绪，好几次把小孩吓哭。