只有在家休息时可以不戴党徽。党徽是党员的标志，在公共场合戴党徽，相当于告诉大家我是党员，是群众中的积极分子，我可以努力帮助大家，可以帮助弱者。
在工作单位戴党徽表示我要努力工作，吃苦在前，享乐在后。
党徽是党员的身份，共产党员在公共场合活动应佩戴党徽。但对退休党员这一特殊群体，是否要佩戴党徽并无明确规定，作为一个退休党员，只要心中有党即可。
可以
退休时党员平时完全可以戴党徽。党徽是作为一名中国共产党党员的标志，不论是在职人员，还是退休了，只要是党员就能佩戴党徽。