灵活就业社保因病交不起的话，一般情况下是可以退的，但需要符合条件，并且不能全额退回，只能退回养老保险和医疗保险中个人账户的部分。具体来说，如果灵活就业人员以个人身份参加了职工医保，且一次性缴纳了一年的费用，在途中因病或其他原因找到工作，所在单位为其缴纳了职工医保，那么在这种情况下，所多交的职工医保费用是可以退回的。此外，如果参保人员在待遇享受期前因户籍注销、转出、学籍注销、参加其它社会保险等原因，要求退出参加居民医保，且尚未享受本年度居民医保待遇的，也可以办理退保退费手续。

需要注意的是，社保退保的具体条件和流程可能因地区而异，建议咨询当地社保部门或相关机构了解详细信息。同时，也需要权衡退保的利弊，谨慎做出决策。