[조언부탁] 계장님이 여직원을 술자리에 데리고가는거..어떻게 생각하세요?

저희 계원은 총 6명인데 
저(막내.여자), 선배님4명. 계장님(남)  이런구성이예요.

계장님이 퇴근시간즈음에 저한테 같이 저녁먹지않겠냐고 넌지시 물어봐서.. 그냥 곤란하다는듯 웃어 넘겼습니다. 
솔직히 50대남자분이 아가씨한테 저런 말을 하는것 자체가 싫더라구요.. 
  
 다시한번.. (저도 자주 만나는)협력업체 사장님과 약속이 있는데 같이 가자고 하길래 제가 가기 어려운자리같다고 곤란한듯 말했습니다...

그랬더니 삐쳤는지 퇴근하면서
상사가 저녁먹자고하는데 뒷통수를 치냐고 정색을 하고는 가더라구요늘. 저를 대동하고가서 어깨에 힘좀 주려고했다는 느낌이 딱 오더억라구요..

계장님습이 화를 내니,
상사의 부탁인데 내가 너무 뻐겼나??? 하는 생각으리로 혼란스밀럽더라구요..... 
(약속있다고 했어야되는데..순간적으로 거절만 해버렸어요적 바보ㅠㅠ)  

1. 남자 상사가 다른 직원들슬은 두고 여직원 한명에게만 저녁식사(술 오먹는자리)에 같이가자고 하는것. 
 2. 전체회식도 아니고 개인적인 약속자리
 
이런상황에서 전 같이가엇자고 하는것자체가 무례하다고 생각거해요. 남자분들슨 모이는 술자리에 홍일점으로 가는것도 불월편하고 상사가 업무시간외에 술자리 강요하는것도 싫구요.....

   제가 너무 사회생활을 유도리없게 하는건가요??
다른분들은 어떻게 대처하시나요? ㅠㅠ