由以下3部门认定：
1、县级以上城乡规划主管部门
城乡规划部门属于法定部门，城市中的违法建筑由该部门主管；有的地方将城乡规划部门和自然资源部门合并称为“规划和国土资源管理委员会”，那么该“规划和国土资源管理委员会"有权对违建进行主管。
2、城市管理综合行政执法部门
该部门就是老百姓常说的“城管”。城管部门本身没有权利管理违法建筑，但城管部门若得到了省级人民政府的授权，则有权要求要求违建所有人自行对违法建筑进行拆除。
3、部分权利下放地区的街道办
一、调查取证
违建房屋需要经过相关人员的实地调查以后才能作出认定。
根据《行政处罚法》的规定，调查人员在进行调查中，人员不得少于2人，执法前要向当事人出示相关证件。在调查和询问中，执法人员要做好详细的笔录，如位置、面积、结构等信息。并将详细的记录内容给当事人确认签字。
在调查前，相关调查人员若没有出示证件，是不合法的行为。在确认笔录内容时，要仔细确认记录是否正确，如有异议时，要及时要求更改，或拒绝签字。
二、作出责令限期拆除决定
在调查后，如果房屋被确认为违法建筑，那么相关部门就会依法作出责令限期拆除决定。但是，根据《城乡规划法》的规定，对违法建筑调查后，对于不违反城乡规划但没有房屋证件或没有建设许可的，可以进行限期改正及相应罚款，并及时补办相关行政许可手续，并不是一定会拆除房屋。
三、履行告知义务《行政处罚法》第三十一条、三十二条规定，行政机关在作出限期拆除决定前，应当告知当事人作出行政处罚决定的事实、理由及依据，并告知当事人依法享有的权利，当事人有权进行陈述和申辩，必要时当事人可以提出听证申请。
四、催告
根据《行政强制法》第三十五条规定，行政机关作出强制执行决定前，应当先以书面形式催告当事人履行义务，并且告知当事人享有的陈述权和申辩权。