不退赔只交罚金可以吗

不可以。

退赃是指犯罪分子将犯罪所得的赃款或者赃物，直接退还被害人或上缴司法机关的行为。罚金与退赃是两个不同的概念，罚金，是指法院判处犯罪人向国家缴纳一定数额金钱的刑罚方法。可见，罚金是刑罚附加刑种类之一。而退赃是对违法所得的一种处理方式，不属于刑罚种类。对于退赃，法律规定犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔;对被害人的合法财产，应当及时返还;违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。

从以上可以看出，退赃与罚金不是选择关系，对于法院判决罚金的同时，仍然可以要求对违法所得予以追缴或者退赔。

《中华人民共和国刑法》

第六十四条

【犯罪物品的处理】犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔;对被害人的合法财产，应当及时返还;违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。