RowHeightプロパティで任意の行の高さを設定後、同プロパティで行の高さを参照すると、最初に設定した行の高さが無効になります。

この問題はバージョン4.1.1で修正されました。
※修正版を適用しない場合の回避方法は以下の通りです。

下記のコードのように、行の高さを設定する前にすべての行の高さを取得します。
（なお、ファイルに大量のデータが含まれている場合、この回避方法により処理が遅くなる可能性があります。）

-------------------------------------------------------
var workbook = new Workbook();
IWorksheet worksheet = workbook.Worksheets[0];

// すべての行の高さを取得（回避策）
var heights = worksheet.Rows.RowHeight;

// その後、行の高さを設定
worksheet.Range["A1:A3"].RowHeight = 50;

// 行の高さを参照
var a6_height = worksheet.Range["A6"].RowHeight;