Наболевшая проблема

Скажите,а как Вы реагируете на такое поведение друга?Как это проявляется?Что говорите?делаете?Пробовали ли Вы поговорить об этом со своим другом?озвучить ему свои страхи?Сказать "дорогой,меня напрягает такие поездки,подумай,что можно сделать,что бы и мне и тебе было комфортно?".Есть ли повод не доверять вашему другу?Конкретные факты?Не ваши страхи.А чем Вы занимаетесь в его отсутствие?есть ли у Вас свои интересы или вы полностью растворяетесь в нем?

Странно, что вы так смогли 8 лет. Возможно, его бывшая жена провоцирует его намеренно и так самоутверждается, а может быть, действительно скучает по нему. В любом случае, такие связи - "не от хорошей жизни".
Чувствуется, что Вы опустошены, может быть как раз постоянным удерживанием его и хождением по кругу. Вас как будто не существует, но не из-за него, а скорее всего, из-за отсутствия своих интересов, усталости.
Отпустите его. Забудьте на время, займитесь чем-нибудь другим искренне, с интересом. И увидите, ему это скоро наскучит, будет тяготить, такие двойные связи.