fiz um pequeno circuito de acionamento de uma lampada utilizando um relé daqueles de 1 canal, com o Wemos D1 Mini, e quando o relé é alimentado com 5V ele fica sempre fechado. No entanto, quando alimento ele com o 3.3V da placa, ele funciona normalmente.
Se possível anexe o esquema de como esta conectado ou as fotos, mas acredito que tem a ver com a tensão na base do transistor que dispara o rele ou o aciona o led no opto acoplador, depende do modelo que você tenha, com 5V - a queda de tensão na base ou no opto deve ser suficiente para colocar um ou outro no estado de saturação, mas com 3.3V - a queda de tensão isso não deve ocorrer, acredito que seja essa a causa.