Как отказать не причинив боль человеку

Что мне делать... Сегодня признался в любви коллега, но у него жена, дети...

Они живут как соседи уже целый год несмотря на полугодовалого ребёнка. Наше общение зашло слишком далеко, хотя я всегда держала с ним дистанцию. Но он добился меня, а я поддалась, потому что у меня не было отношений уже очень давно, и я устала быть ломовой лошадью и тешить одна ребёнка и работу. Было приятно внимание и то, что я желанна. Тема наличия семьи поднималась мной неоднократно, но меня успокаивали, что там все очень плохо, что это его решение, а все лето он жил один, пока его жена с детьми на даче. Я периодически напоминала, что он инициатор, и этих отношений я не хотела, но "встретились два одиночества", которым хорошо друг с другом. На днях он не появился дома, потому что был со мной, утром его не пустили домой... Он был удивлён, потому что дома его обычно не ждут. Я посчитала себя виноватой. Он успокаивал и брал вину на себя, но после этого случая у меня что-то переклинило, захотелось дистанцироваться. Попросила чтобы он извинился перед женой и поговорил с ней. У нас с ним также был долгий разговор, он рассказывал свои переживания за семью, что там уже руины, что он устал все пытаться склеить. Но просьбу мою выполнит. Выполнил, вроде бы они договорились попытаться наладить все. И тут я задумалась, какое мое место? Наши встречи он отменять не хочет. Я попросила закончить эти тупиковые отношения, потому что ему нужно заниматься семьёй, ведь нельзя играть на два фронта. Он просил не рвать. И вообще задумался, что улучшать отношения с женой - это совсем не то, что он хотел, и от неё нет взаимных действий. Произошёл очередной конфликт у них, и он съехал от жены . Теперь он настроен решительно по отношению ко мне. А я ничего не хочу и не хотела. Мимолётное увлечение обернулось такой драмой... Он признался, что любит меня, я сказала, что это не любовь, и я его не люблю. Но в то же время я чувствую, что человек искренен на 100% со мной, и это не игра, он уже столько раз доказывал мне эти чувства, что сомнений в них нет. Я причиняю ему боль, но не хочу мучить друг друга. Прошу его тратить силы на разрешение своей семейной проблемы, а не на выяснение отношений между нами. Я в таком тупике, что не знаю как выбраться оттуда и как объяснить ему свою резкую смену отношения к нему.