我单身，他有家庭，刚开始追我时他们俩在闹离婚，时间长了我们终究还是两个人在一起了，而他那边还是没离婚，直到他老婆发现我们之前有什么不对劲，但没有实质性知道我们的关系，后来他老婆在挽留他，而他慢慢地也越来越往家的方向走，到这时我却发现我离不开他了，越来越不知道接下来该怎么做