ドキュメントで使用されているフォントが実行環境にインストールされていないことが考えられます。
ExcelファイルをPDFエクスポートする際、元のExcelファイルで使用されているフォントが実行環境にインストールされていない場合には、代替フォントを使用してPDFが作成されます。
実行環境のLinux上に、該当の日本語フォントがインストールされていないと、代替の英語フォント（例：DejaVuフォントなど）が使用されるため文字化けが発生します。

正しいフォントでPDFエクスポートを行うには、下記のいずれかの方法で対応してください。

• Excelファイルで使用されているフォントを実行環境のシステムにインストールする
• フォントファイルが格納されているフォルダをWorkbook.FontsFolderPathプロパティに指定する

※参考情報
フォントとスタイルの設定