転職するかどうか悩んでいます。

２年前から工務店にて、インテリアコーディネーターとして働いています。
（資格・経験はなく、勉強中です）

以前から農業や果樹栽培に興味があり、農業の仕事に就きたいと思い求人を探していました。
日曜日出社の会社が多く、希望に合う会社がなかったため、２年前に農業関係の仕事ではなく現在の仕事に就きました。

インテリアコーディネーターとして頑張ろうと思い仕事をしていましたが、やはり農業や果樹栽培の仕事が気になり、求人を探しているうちに希望条件に近い求人があり、さっそく園内を見学させていただきました。
実際に現場を見て、やってみたいという気持ちと、やっていけるかどうかという不安、今の仕事を手離しても本当に後悔しないか、などいま一歩踏み出せない状態でいます。

コミュニケーション能力が低く、自分から積極的に話したりすることが苦手で、話すのも下手で会話も続かないことが多いです。
現在、お客様との打合せや大工や業者との連携も苦痛に感じながらも仕事のやりがいは感じています。
が、なぜか虚しさを感じてしまいます。

先日転職希望先の果樹園を見学させていただいた際に、作業されている方々の私を見る目が冷たく感じました。
場違いの人が来ているという感じでヒソヒソと話されていました。
期待でいっぱいの気持ちであったため、この中で自分はやっていけるのか一気に不安になってしまいました。

インテリアコーディネーターと果樹栽培の仕事を比べた時、周りの方々は皆果樹栽培の仕事を格下として見て、転職はもったいないと言われます。
正直、私自身も給料面や作業の大変さなども考えると果樹栽培や農業の仕事を格下に見ている気がします。

なのに、なぜ転職したいのか、本当に転職したいのか、今の仕事から逃げ出したいだけなのか、考えれば考えるほど自分の気持ちが分からなくなってしまいます。
本当にやりたいと思ったら周りの目など気にせず行動するはずなのに、出来ないということは本当にやりたいことではないのか、自分が何に引っかかっているのか分かりません。
自分の気持ちに正直に向き合えば答えは出るはず、けれど自分の気持ちが分かりません。

訳の分からない質問をしてしまい申し訳ありません。
何かアドバイスを頂けますでしょうか。
よろしくお願い致します。