I'll have to pass.

丁寧な断り表現です。pass は「見送る」という意味です。