中间人退钱了算诈骗吗

需要看案情，诈骗案件中的中间人如果明知是诈骗而参与的，属于诈骗案件中的共犯，按照共犯追究刑事责任；如果有证据证明该中间人确实不知道这是诈骗，该中间人不承担刑事责任，但是要承担民事赔偿责任。
《刑法》第二百六十六条规定，诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金;数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金;数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并罚金或者没收财产。本法另有规定的，依照规定。

法律依据：《最高人民法院最高人民检察院关于办理诈骗刑事案件具体应用法律若干问题的解释》 第一条

诈骗公私财物价值三千元至一万元以上、三万元至十万元以上、五十万元以上的，应当分别认定为刑法第二百六十六条规定的“数额较大”、“数额巨大”、“数额特别巨大”。各省、自治区、直辖市高级人民法院、人民检察院可以结合本地区经济社会发展状况，在前款规定的数额幅度内，共同研究确定本地区执行的具体数额标准，报最高人民法院、最高人民检察院备案。