خانمی برای همسرم مزاحمت ایجاد کرده

7 سال است ازدواج کرده ام خودم 30 سال دارم و شوهرم 37 ساله و دوست صمیمی برادرم است. شوهرم در زمان مجردی با خانم های زیادی ارتباط داشت ولی گفت به خاطر علاقه به تو دور همه چیز را خط کشیدم ولی متاسفانه یکی از خانم ها ول کن ما نیست و با این که ما هر دو خطمان را عوض کردیم باز ایجاد مزاحمت میکند به طوری که ما یکسال از تهران نقل مکان کردیم. الان حاصل ازدواجمان 2 فرزند پسر و دختر است و من شوهرم را خیلی دوست دارم ولی از این خانم می ترسم. راهنمایی کنید.