Развод или нет? Подскажите советом

Девочки, всем привет. Немного не по теме, но мне действительно не с кем нормально эту тему обсудить, все подруги, родственники говорят разводиться не думая. А я "люблю".

Ситуация такова. Жду мужа из тюрьмы уже два с половиной года. Через 5 месяцев он выходит. Первые полтора года все было хорошо. Я ездила к нему раз в 4 мес. Мы проводили время вместе и когда были рядом, без расстояния, то вообще не ругались. Но сейчас свидания закрыты и мы начали по телефону часто общаться. И соответственно раньше такого не было, но последнее время совершенно друг друга не понимаем. Я воспитываю дочь одна, с беременности. И сегодня произошла такая ситуация. У меня был очень тяжёлый день, сразу скажу что у меня очень Гипероктивный ребенок, днём не спит, встает рано и дотночт бесится. В общем мне позвонил муж в неподходящее время, в тот момент когда я очень нервничала из-за дочки, и сорвалась на неё. Закричала. Он естественно это услышал и начал говорить гадости, по типу того что, зачем ты орешь на нашего ребенка? Ты травмируешь ей психику! Ты ненормальная! То есть было сказано -"Ты ебанутая? ". И очень грубо начал меня унижать. Я сказала ему, что такое бывает и я всегда стараюсь сдержаться, но иногда не могу, и я обьяснила ему, что понимаю что это не правильно и я не должна так делать, чувство вины испытываю и всегда когда такое может произойти( не часто). Иду к доченька и извиняюсь, поцелую обниму. На что он мне сказал, ты больная иди пропал таблеток, ты безмозглая дура, которая не должеа иметь детей. Такие слова я услышала от него впервые в жизни, и задумалась о разводе. Ведь если у нас нет понимания, то зачем это все? Когда мы видимся рядом, мы очень любим друг друга. Но после этих слов, я за сомневалась, а нужен ли мне такой человек рядом? Я сказала ему, почему ты не можешь просто поддержать меня, сказать любимая успокойся пожалуйста, постарайся больше такого не делать. Но он выбрал другой путь. И в общем естественно он будет звонить и извинялся за такие слова. А меня они настолько оттолкнули что я готова оставить его в прошлом и найти человека, для которого будет недопустимо сказать такие слова любимой женщине. Я три года почти таскаю баулы в другой город, езжу с 30 кг. В поезде с ребенком чтобы ему было супер класс на его курорте, а эти слова меня просто убили. Как будто любила любила... И отвернуло на раз!. Пожалуйста посоветуйте как быть? Стоит ли разводится и вообще, он дочь очень любит.и как выйдет будет очень часто видится с ней, если разведемся. Он считает что я шучу насчет развода. Но я всерьез задумываюсь....