1993年他參與第十二屆台中市長選舉,與競爭對手林柏榕正面交鋒,這也成為他政治生涯最後一場選戰。
此後他轉任行政體系,先後擔任台北市政府環保局長、行政院環保署長,以及外交職務等多個重要崗位。
最令外界關注的是2000年5月25日,林俊義在立法院面對國民黨立委江綺雯的質詢時,坦言自己過往反對核四的原因是為了對抗獨裁體制,如今民主時代來臨,當初反核四的理想基礎已經消失,不過他對核能發電仍抱持憂慮態度。