축의금 해야하나요

퇴사하고 전 직장 동료가 만나자고 연락왔는데 만나기싫음, 평소 연락 없다가 연락옴( 청첩장 모임 ) 직장 생활 중 날 힘들게 하고 스트레스 받는 주 원인이 그 상사였음 ... 이직 준비한다고 바쁘기도 하고, 금전적 여유도 없는 상태 근데 내가 축의금 받은것도(10만원 + 참석)있어서 줘야된다고 생각은 하는데 앞으로 평생 볼 일도 없고, 인연 이어갈것도 아니라 참 애매함 .... 어떻게 하는게 맞을까요