拆迁工作由国务院建设行政主管部门负责监督管理。具体来说，国务院建设行政主管部门对全国城市房屋拆迁工作实施监督管理，而县级以上地方人民政府负责管理房屋拆迁工作的部门（简称房屋拆迁管理部门）则对本行政区域内的城市房屋拆迁工作实施监督管理。拆迁办作为负责与拆迁有关事务的临时部门，通常是在城市改扩建过程中应运而生的。

因此，搬迁工作主要归 国务院建设行政主管部门负责监督管理，地方政府相关部门则负责具体实施和监督本区域内的搬迁工作。