Взаимоотношения с биологическим отцом моего ребенка

Моему сыну 3 года. Когда сыну исполнилось 1 год я уехала от него. Первые 1,5 года созванивались, вместе проводили отпуск и праздники. У него есть пагубные привычки, он пьет и курит марихуану. Живя вместе я испробовала все возможное, чтоб быть вместе, уговаривала, скандалила, разговаривала с друзьями, пыталась выбрасывать травку, если находила. Но и возможности и терпение кончилось, тем более что скандалы участились, а сын подрос становясь свидетелем наших ссор. Последней каплей было то, что он ударил меня, разозлившись на то, что я не захотела близости с ним. Сейчас, в основном в периоды алкогольного опьянения, а может и наркотического. Он постоянно звонит мне с угрозами и в мой адрес и адрес моих родителей. Несколько таких разговоров и смс у меня записаны. Требует встречи с сыном, я опасаюсь и предлагаю ему встречаться только в присутствие третьих лиц, на что он злиться еще больше. В официальном браке мы не состояли и не состоим. Единственное, он записан отцом моего ребенка и есть свидетельство на усыновление. Как мне поступить в этой ситуации? Алименты он не платит, весомые ли это аргументы для лишения отцовства и запрет любых контактов с моим ребенком и моими родными?