Cuando en tu controlador usas flash es posible que cuando cambies a otra página siga apareciendo el mensaje, para evitar que aparezca dos veces deberás reemplazas flash[:notice] por flash.now[:notice].

Ejemplo:

flash.now[:notice] = 'Mensaje'