我爱上了一个已婚男人，他也爱我，想和我在一起，我想离开他，放弃，但一直狠不下心来