パート社員は加配担当を断れますか?

ご相談者さん(保育士・パート・女性・東京都)

現在、パート社員として保育補助をしています。

以前、別の保育園で数年間障害児の加配をやりましたが
精神的にきつく退職しました。

現在、勤務している保育園でも4月から加配になりそうです。
わたしは加配はもうやりたくないと思っています。

これははっきりと、園長に伝えていいのでしょうか。
保育補助だと、それは断れないのでしょうか。

皆さんのご意見をお聞かせください。

※その理由も詳しくお聞かせください。