如果档案是在自己的手里也不会影响退休的工龄，因为退休工龄是死的，缴一年才会有一年的工龄，没有缴就没有工龄了，所以不管档案在那里都不会影响退休的工龄。
档案在自己手里五六年，可以采取以下步骤激活：
联系户籍地人才市场或工作单位，咨询关于档案激活的具体流程和所需材料。
根据要求准备相关材料，包括个人身份证、户口本、劳动合同、学历证明等。
提交材料给户籍地人才市场或工作单位，等待审核。
如果审核通过，按照要求签订人事档案代理协议，并开具存档证明书。
如果审核不通过，可能需要选择第三方档案激活机构进行档案激活，或者联系学校或单位协助处理。
需要注意的是，不同地区和不同单位的具体要求可能会有所不同，建议在激活前仔细咨询相关机构或单位，确保按照要求准备材料并符合法定形式。