La familia de Iakov Tzvi era heredera de una larga tradición rabínica ortodoxa; su padre Jaym Schloime Zalmen, ejerció el puesto de dayan (juez de tribunal religioso judío) y fue presidente del tribunal en Tokai por más de 50 años. Fue autor del libro Gai Jezoien (Valle de Visiones) una profunda exégesis del Libro de Génesis, en dos tomos. El primer tomo fue publicado en la ciudad de Miskolc, capital del condado de Borsod. El segundo apareció el mismo día en que los alemanes invadieron Hungría y no se conserva ningún ejemplar.
También Frumet, descendía de una larga estirpe de ilustres rabinos. Su padre había sido Iehuda Altman, autor de varios libros, entre ellos: Iam shel Iehudá (Mar de Iehuda) y Mei Iehudá (Las aguas de Iehudá) un compendio de responsas sobre la Torá. Era hermana de Fabian Shrague Tzvi Altman, el Gran Rabino de Mezocat, autor de Ateres Tzvi (Las coronas de Tzvi), de Shimshon Altman, rabino de la ieshiva de Packs; y de Shabetai Altman, Rabino en Budapest y capellán del ejército húngaro durante la Primera Guerra Mundial. Se cuenta de él que en el sagrado día de Iom Kipur consiguió que los ejércitos enemigos, tanto austrohúngaros como franceses, hicieran un alto el fuego para una conmemoración conjunta.
Según la tradición rabínica de Europa Oriental, a los grandes rabinos que hubieran escrito libros de sabiduría, se los denominaba según el título de la obra que habían escrito. Así, el tatarabuelo de José, Rabi Zev Wolf Tannenbaum (1787–1873) era conocido como Rejovot hanaar; su bisabuelo era Neta Sorek; su abuelo, Iehuda Altman, que se había casado con la hija de Neta Sorek, Jana Rivka, era ”Mei Iehuda”; y Tzvi Altman, era “Ateres Tzvi”..
Josè se crió escuchando las leyendas y lo relatos que se contaban sobre sus míticos antepasados.
Sobre su tatarabuelo, Rejovot Hanaar, se contaba una leyenda muy particular. En el pueblo cercano de Verpelet, dirigía una ieshiva en donde estudiaban 300 alumnos. Un joven muchacho fue un viernes al río para hacer sus abluciones y purificarse para recibir el sábado. Pero de repente la corriente se intensificó y el chico se ahogó. Sus amigos intentaban en vano sacar el cuerpo del agua para darle sepultura, pero la corriente lo impedía. Entonces llamaron a Rejovot Hanaar y le preguntaron qué hacer. El Rabino llegó hasta la orilla y habló con el rio. Nadie sabe qué fue lo que le susurró al rio, pero inmediatamente la corriente cambió y el rio empezó a fluir en la dirección contraria, acercando el cuerpo a la costa. Hasta hoy en día puede verse en Verpelet que el río torció su curso, dejando una porción del lecho del río seco.
Sobre su abuelo, Mei Iehudá, se cuenta que había concertado un shidaj entre una novia, de Mezoczat, y un novio de un pueblo lejano. El compromiso, se firmó entre las familias en Mzok una posada a mitad de camino. Allí se acordó la dote de la novia. Llegó el día de la boda, pero la familia de la novia no aparecía. Se los esperó hasta tarde, pero ella no venía. Mei Iehudá dijo que no se preocuparan, que a último momento iban a aparecer. Cuando finalmente llegaron se había hecho de noche y ya no quedaba tiempo para festejos. Para colmo, la novia no había traído la dote. La familia del novio se quejó enérgicamente, se habían quebrado los tnoim. Pero Mei Iehudá determinó “¡Ninguna fuerza puede contra la Voluntad del cielo!” y los casó de todos modos. Estaba convencido de que ese shidaj era del cielo y nadie se atrevió a contradecirlo.
“Ateres Tzvi”, era el Gran Rabino de Mezocsat. Nació en 1897. Estudió en la escuela rabínica Pública de Bratislava y Cluj. Durante la Primera Guerra Mundial participó en el 34º Regimiento de Infantería de 1915. Fue miembro del comité municipal y la Cruz Roja.
Cada uno de estos mágicos e ilustres antepasados ocupaba un lugar de honor en la biblioteca de la casa, pero también ocuparon durante mucho tiempo un lugar mágico y maravilloso en la imaginación del joven José.