отношения ребенка и родственников

Здравствуйте. У меня такая ситуация. Ребенку 4 года, 3 года я в разводе. У бывшего мужа новая семья. С ребенком он общается редко, только если я настою на встрече ( примерно 2-3 раза в год). Кроме алиментов никакой помощи от него и его семьи нет. Родители его не общаются ни со мной, ни с ребенком. Во время последнего разговора с мужем, он сказал что собирается подавать на меня в суд, т. к. я не отпускаю сына к нему домой(хотя об этом он просил только раз). Я сказала что не против общения его семьи, но только в моем присутствии, т. к. мой сын их совсем не знает. Родители бывшего мужа меня не любят, и боюсь как бы их общение с внуком без меня не повлияло на мои отношения с сыном. Уверена, что даже если он подаст в суд, и решение будет в его пользу, то вряд ли он будет встречаться с сыном чаще. А отдавать ребенка как игрушку для родителей я не хочу. Они говорят, что я настраиваю ребенка против них, не рассказываю сыну про отца. Хотя отец за 4 года только 2 раза поздравил его с днем рождения, и не подарил ни одного подарка. Скажите, пожалуйста, какого может быть решение суда? Я не хочу травмировать психику ребенка этими редкими встречами с чужими, для него, людьми. Как лучше поступить в такой ситуации? заранее спасибо