Osasuna, tras el varapalo de la salida de Arrasate, se tiene que poner a trabajar en la búsqueda de un nuevo entrenador. «No hay plan B, C ni D, queríamos que continuara», expuso Braulio Vázquez, director deportivo de la entidad rojilla. Según apunta Relevo, uno de los candidatos es Rubi, sin equipo desde el final de la temporada 2022-23, cuando terminó su etapa en el Almería.
En su pasado más reciente, en la temporada 2014-15, se hizo cargo del Real Valladolid, con el que logró la quinta posición en la Liga y, en consecuencia, disputar su segunda fase de ascenso a Primera División como entrenador.24 En esta ocasión, su equipo fue derrotado en la primera eliminatoria por la U. D. Las Palmas y la directiva decidió rescindir el contrato que lo vinculaba a la entidad pucelana hasta el 30 de junio de 2016.
El 28 de octubre de 2015, se convirtió en técnico del Levante U. D. después del cese de Lucas Alcaraz. En su debut en la máxima categoría, sumó veintiséis puntos en veintinueve partidos que no bastaron para evitar el descenso a Segunda División28 y el club granota no renovó su contrato.
El 18 de enero de 2017, fue contratado como entrenador del Real Sporting de Gijón en sustitución de Abelardo Fernández, donde cosechó un nuevo descenso de categoría.
De cara a la campaña 2017-18 fichó por la S. D. Huesca, con la que logró ascender a Primera División por primera vez en la historia del club. El 3 de junio de 2018, se confirmó su fichaje por el R. C. D. Espanyol, al que dirigió durante la temporada 2018-19. El equipo blanquiazul finalizó la competición en el séptimo puesto y logró la clasificación para la Liga Europa.
El 6 de junio de 2019, se desvinculó del Espanyol tras abonar la cláusula de rescisión de su contrato y firmó por el Real Betis Balompié. El 20 de junio de 2020, fue cesado en su cargo, dejando al equipo bético como 14º clasificado tras 30 jornadas de Liga.
El 28 de abril de 2021, se hizo oficial su fichaje por la U. D. Almería en reemplazo de José Gomes. El técnico firmó un contrato que le vinculaba al conjunto indálico hasta la temporada 2022-23. El 29 de mayo de 2022, consiguió devolver a la U. D. Almería a la máxima categoría del fútbol español, además de lograr el título de campeón de Segunda División. El 4 de junio de 2023, tras haber logrado la permanencia del equipo andaluz en la última jornada de Liga, anunció que no iba a continuar en el banquillo.