남자친구와 헤어지는게 맞는걸까요?

안녕하세요. 30대 중반 여자입니다. 1년가까이 만나고 있는 3살 연하 남자친구가 있어요. 연애쑥맥이라서 답답한 부분도 있지만 성격은 정말 착하고 반듯해요. 인성은 좋은 남친이지만 결혼까지 가기에는 고민이 되는 부분이 있는데요.남자친구가 형한명 여동생 한명이 있는데 두분 다 장애인이에요. 형은 옆에서 케어해줘야 하는중증 장애인이고 동생은 성인이지만 지적 수준은 초등학생 정도 돼요. 부모님은 두분은 정상인이세요. 주변지인들에게 얘기하니 결혼해서 아이 낳으면 제 아이도 장애아이가 태어날수도 있다면서 가족 유전 무시못한다고 하더라구요.. 이 얘기듣고 고민이 되기도 하고 남자친구가 배려심도 있고 성격은 좋지만 의지가 되거나 든든하다는 느낌이 들지가 않아요. 또 남친과의 미래가 그려지지도 않구요. 전에 결혼생각에 대해 얘기 나눴는데 남친은 나중에는 생각이 바뀔수있겠지만 지금은 결혼생각이 없다고하네요 아직 가정을꾸리기에는 자신이 없다면서요. 저도 지금 결혼하고싶다 라는 생각이 들지는않아요. 지인들은 서로 결혼생각 없으면 얼른 헤어지는게 좋을거라고 얘기하는데 수긍하면서도 마음이 자꾸 흔들리네요.. 조언 부탁드려요