私は現在32歳で、現在の職場で働きはじめて4年になります。
元々は派遣社員でしたが、２年前に契約社員になりました。

最近入ってきた男性(恐らく障害者枠にて採用)が自閉症スペクトラム？という障害があるらしく、その人の世話をさせられています。
障害の説明は特になく、此方から聞いてもあまり説明してもらえませんでした。
はじめは大人しいだけかなと思っていましたが、暫くするとやたら顔を近付けてきたり鼻息が荒かったりするなど、様子がおかしくなりました。
あまりにも顔が近いので注意したら押し倒され顔を舐められました。
上司に相談すると「途中で投げ出すのは無責任、障害者を差別するな」と言われてしまいました。
その人の世話を誰もしようとはしません。
ここ最近はその人が女性用更衣室に入ろうとするのを阻止するのが日課になり、トイレの付き添いまで求められています。
自宅の場所や休日の過ごし方まで根掘り葉掘り聞かれ、教えないと帰り道も後ろからつけてこようとします。
何かある度にその人の家族から会社に抗議がくるらしく、上司はそれに怯えているようです。
私がトイレに行こうとすると後ろを追いかけてくるので、とても怖くて最近仕事を休みがちになりました。
しかし私が休むとその人の家族から「世話係がいないとは何事か！約束と違う！」と電話がかかってきて、上司から休まないように言われています。
精神的にも肉体的にも限界ですが、このまま辞めても続けても何かありそうで怖いです。
私は今後どのように行動するべきでしょうか？