モーダルダイアログ表示時の親画面のオーバーレイの色をPopupごとに変更するには、下記サンプルコードのようにPopupのshownイベントを使用し、画面の背景色を設定します。

◆サンプルコード
----------------------------------------------------
popup.shown.addHandler(function (s, e) {
　　s.hostElement.previousElementSibling.style.backgroundColor = "red";
　　s.hostElement.previousElementSibling.style.opacity = 0.3;
});
----------------------------------------------------

サンプル