特定の年代・性別の人からやたらと絡まれるのは、何か理屈では説明できない理由があるのでしょうか？

私の場合はおじさんなのですが、道端、駅のホーム、レジ待ち、駐車場で車内、車の走行中などなど、本当に呪い？と思ってしまうくらい、見ず知らずのおじさんに、こちらが何もしていないのに絡まれるのです。

例えば駐車場ですが、ただコンビニの駐車場で車を止め携帯電話を見ていただけなのに、ま隣の車内から電話をしながら見ず知らずの老人が真っ直ぐに私の顔をじーーーっと見ていたことがあります。
隣なのでかなり近い距離でギョッとしましたが、その後私が店内に入る時もまだずっと電話をしながら睨まれていました。

他に、いきなり身に覚えのない暴言を吐かれたりゼスチュアをされたりなども、数えきれないくらいたくさんあります。

以前何かの記事で、日本の男性は男尊女卑で視野が狭いため老人になると「老害」化しやすいと読んだことがあり納得しましたが、それにしてもなぜ私ばかりこんなにも狙われるのでしょうか。
私はいつも男性みたいな恰好をしているし服の色も黒っぽい色が多くて派手好きでもありません。

私の場合はたまたま男の中年～老年ですが、たぶん世の中には特定の性別・年代の人からいつも身に覚えのない被害を被っていて、なぜなのか分からないという人が他にもいると思うのですが、それって呪いと言うと大袈裟ですが、何かそういう理屈では説明できない力が働いているのでしょうか？
当然腹も立っていますが純粋に不思議で仕方ありません。

また、絡まれないようにするにはどうすれば良いのでしょうか？