单位能否以此为由终止双方劳动关系，劳动者拒签无固定期限劳动合同

并没有相关法律规定，劳动者拒接签订无固定期限劳动合同，用人单位可以解除或终止劳动关系。也就是说，
用人单位降低原合同待遇，劳动者拒绝签订该无固定期限劳动合同，用人单位据此终止劳动关系的是违法的。
【法律依据】
《劳动合同法》第十四条规定，无固定期限劳动合同，是指用人单位与劳动者约定无确定终止时间的劳动合同。用人单位与劳动者协商一致，可以订立无固定期限劳动合同。有下列情形之一，劳动者提出或者同意续订、订立劳动合同的，除劳动者提出订立固定期限劳动合同外，应当订立无固定期限劳动合同：
（一）劳动者在该用人单位连续工作满十年的；
（二）用人单位初次实行劳动合同制度或者国有企业改制重新订立劳动合同时，劳动者在该用人单位连续工作满十年且距法定退休年龄不足十年的；
（三）连续订立二次固定期限劳动合同，且劳动者没有本法第三十九条和第四十条第一项、第二项规定的情形，续订劳动合同的。用人单位自用工之日起满一年不与劳动者订立书面劳动合同的，视为用人单位与劳动者已订立无固定期限劳动合同。