不妊治療とアルバイトについて。

子なしの専業主婦で現在不妊治療をしています。
過去にこちらで相談させていただいた事からようやく元気になりまして求人誌を読んでアルバイトを探しているのですが…。
ここで働いてみたいな、と思ったところがあっても時間的に通院との兼ね合いが難しそうだったり
どうしても「せっかく仕事を教えてくれるのにまた妊娠してすぐ辞めることになったら迷惑かけてしまうのではないか」とか「突然の来院指定（明日もう一度来て、と言われることなどもあります。）や体調が悪い時(毎月治療で注射を打った後数日体調が優れない日があります)に突然休みを取る事になってしまったら毎月のように迷惑をかけてしまう事になるんじゃないか」とか予定を立てられない心配ばかりが頭をよぎってしまいなかなか行動にうつせません。

主人は早く子どもが欲しいのもあり「不妊治療に専念すれば？」と言ってくれているのですが…
わたしは周りからの「子どもがいないのに専業主婦？働いたほうがいいよ」という言葉にどうしても耐えられないし何より働いていない事に申し訳ない気持ちになります。

いつ妊娠するかわからないから働き始めたいけど、周りに迷惑をかけてしまうかもしれないからこのままのほうがいいんじゃないかという気持ちの葛藤。
自分よりもっと大変な治療と大変なお仕事を両立させている方もいらっしゃるし甘ったれている相談だと思います、本当すみません。
ですが今のどっちつかずな現状から抜け出せず何かお言葉をいただけたら幸いです。