Stackars dig och dina barn. Ni har hamnat i en situation som man inte önskar någon.
Jag hoppas du kan vara stark och ta hjälp av alla tänkbara. Det är inte lätt att vara en liten människa bland alla myndighetspersoner, men du har rätt att få hjälp. Stå på dig. Det är sorgligt när man inte får stöd från socialtjänst. De ska väl se till alla människors bästa (även pappans rätt att få träffa sina barn), men nog måste väl de också sätta barnen först. Det låter inte klokt.
Även om era barn inte varit utsatta så är de förmodligen gamla nog att förstå att det han sysslar med är fel. Du får inte berätta för att det är förtal, men har inte ryktet spridit sig ändå? Folk brukar spekulera och lägga ihop ett plus ett (och ibland få det till tre). Dina barn får kanske lida av att andra retas och kallar deras pappa för pedofil? Har dina barn kontakt med BUP? Har du någon kurator att prata med?
Stå på dig. Var stark (lätt att säga

).
Det är inte lätt om du själv vägrar honom att träffa barnen. Det är som du säger att det blir till hans fördel i en vårdnadstvist, men soc måste lyssna på dig och åtminstone kräva att någon vuxen är med när han träffar dem.
Jag håller tummarna för bästa lösning för dig och barnen