经过一年多的等待，终于盼到了自建房改造批复文件审批下来了，全家都很高兴，爸爸租了个货柜就开始忙着搬各种大大小小的东西，终于3月份老房子也推掉了，欢欢喜喜准备改造新房子了，奈何碰到隔壁邻居以损害他家地基为由不让开工，多次向村里，乡政府反馈，一开工他们就闹事，报警也报了，村里来协调了几次，艰难的终于打上了地基，第一层造好了，马上开工要造第二层了，又开始闹腾，说不让我家房子造的比他家高，原来的老房子12米深，硬被逼变成现在的10米，邻居又开始难闹事，不让搭脚手架，工程一拖再拖，12345，建管办，农房办找了一圈了，相互推诿，一而再，再二三的闹事，请问到底哪个部门负责？