この問題はバージョン4.1.1で修正されました。
※修正版を適用しない場合の回避方法は以下の通りです。

下記のコードのように、行の高さを設定する前にすべての行の高さを取得します。
（なお、ファイルに大量のデータが含まれている場合、この回避方法により処理が遅くなる可能性があります。）

-------------------------------------------------------
// 図形が含まれているファイルを読み込み
var workbook = new Workbook();
workbook.Open("Sample.xlsx");
IWorksheet worksheet = workbook.Worksheets[0];

// すべての行の高さを取得（回避策）
var heights = worksheet.Rows.RowHeight;

// その後、行の高さを設定
worksheet.Range["A1:A3"].RowHeight = 50;