３月で１年勤務になる派遣先にて、１月に派遣先を退職したいと派遣先の社長に申し入れました。

その場では許可してくれたのに、一週間後に退職後の後任について聞いた所、後任の準備も一向にして貰えておらず、退職の話をする度にあからさまに怪訝な顔をして無視してきました。

それから、何度退職について相談しても状況は変わらず、３月１９日に派遣先の社長から４月以降の業務の相談をされた時、私が辞めた後の後任について再び質問したところ「３月３１日をもって退職するなんて聞いていない。後任はいない。」と言われ、
３月３０日には「オファーレター」とかかれた、雇用条件と会社住所、社長の名前に代表印が押された用紙を２枚強引に渡されました。何度も「やめます」と言っておりましたが、受け取らないと帰る事を邪魔してきたり、威圧されており大変辛かったので、渋々受け取り持ち帰りました。
３月３１日に、お世話になった取引先に退職の旨を伝え１年の勤務を終えました。

４月に入って、元派遣先の社長からメールがあり、内容は「入社を考えてくれたか」という事だったので、「入社は致しません」とハッキリ返事をしました。
すると数日後には「オファーシートを今直ぐ返却しろ」「お前が取引先に退職すると伝えたから会社の信頼関係にヒビが入り、被害出た」「機密契約書にサインと３月末から今までの現状を説明しに会社に来い」と、頻繁にメールが来るばかりか、電話も番号を変えて頻繁に個人の携帯に電話してきます。

恐ろしくなって無視し続けておりますが、１年間一緒に働いていたので、社長がどのような性格かある程度解っており、このままでは自宅や今の職場に怒鳴りこんできたり、違法だとか被害を受けたから訴えると言って来そうだと考えるようになり、怯える日々です。
体調も崩れてしまい、憂鬱で気分が優れない日々です・・・。

今、手元にオファーシートがあります。
今後も脅迫まがいのメールや電話が来ると思われまが、このまま無視をし続けても大丈夫なのでしょうか・・・。
出来ればこのまま二度と関わりたく無く、家に居ても不安で仕方ないので引っ越しをしなければと強く考えるようになりました。

どうか今後の対応について、アドバイスをいただけますでしょうか。。。
長文で読みにくくなり大変申し訳御座いませんでした。

懲戒解雇処分無効が確定し復職したとたんに、それまで問題にすらならなかった過去の別の事由（協調性がないなど）をつけて懲戒にしてくる会社があるのですが、過去にさかのぼりあれがダメならこれと言いがかりをつけてくること自体をなんとかできませんか？