如果施工单位雇用的渣土车在作业过程中导致人员伤亡，那么施工单位是有一定的责任的。具体责任大小需要根据事故的具体情况来定，比如是因为施工单位没有对车辆和司机进行有效管理和培训，还是因为工地上没有足够的安全措施和警告标示等。
一般来说，根据《中华人民共和国安全生产法》规定，雇主应当为从业人员提供安全生产条件，对从业人员进行必要的安全生产教育和培训，并对安全生产工作进行组织和领导。如果施工单位在这方面未尽到责任，则有责任承担相应的法律责任。
如果渣土车在施工单位的指导或授权下工作，压死人的责任将由施工单位承担。
在这种情况下，施工单位不仅需要对受害者的家属做出赔偿，还需要为公司的管理和安全规程进行调整和改进，以确保此类事件不再发生。
此外，如果渣土车司机或承运公司存在过错行为，他们也可能同样承担责任。