명절도 아닌데 처가에서 자꾸 모이자고 하는 거 어떻게 해요

처가에서 한 달에 두세 번씩 모이자고 연락이 와요. 아내도 사실 부담스러워하는데 어머니 앞에서는 싫다는 말을 못 하고요. 저도 일요일에 쉬고 싶은데 연락 오면 그냥 가게 되더라고요. 명절이면 당연히 가는 거 알고 갑니다. 근데 아무 날도 아닌데 "이번 주 와라" 이러시면 솔직히 좀 힘들어요. 아내한테 "우리도 우리 시간이 있다"고 얘기해야 하는 건지, 아니면 그냥 계속 맞춰드리는 게 맞는 건지 모르겠어요. 비슷한 상황인 분들은 어떻게 하세요?