покупка квартиры

Здравствуйте!Мы с мужем хотим купить квартиру в ипотеку. Нашли вторичное жилье внесли аванс,заключили агентский договор. Сейчас узнали что ща эту сумму можно взять первичное жилье. Хотим забрать аванс,можно ли это сделать? Договор заключен с 4 ноября по 4 декабря. И они только сегодня позвонили и попросили денег на расходы.