職場の上司が最近苦手で仕方がありません。
とあるきっかけで雑談することがあり、その場で気に入ってもらったのか「今度ご飯行こう！」と言われました。
内心、それは嫌だなと思ったのですがノリでいわれたことだろうと笑って流しました。
しかしその日から何かと会話の中で「飲みに行こう」というワードを入れてきて嫌です。
今のところ笑って適当に流しているのですが、ストレスで仕方がありません。

こればかりではなく、この上司は冗談で「殺すぞ」とよく口にします。
例えば私がほんの少しの小さなミスをした時や、シフトを誰かの代わりに入ってあげられなくて断った時などです。
本人としては親しみの言葉なのかもしれませんが、家に帰ってすごくイライラするし顔を合わせると内心ムカムカします。

かといって私も性格が悪いのか、相手を目の前にすると冷たい態度を取れません。

このイライラはどうしたらいいでしょうか？
なるべく関わる時間を減らすよう務めているのですが、毎日数分は必ず会話しなければいけません。