Wann der 1879 in Bodenheim als Kind des Lehrers Adam Fillo und seiner Frau Berta Schreiber geborene Josef Fillo nach Dortmund zog, ist ungewiss. Ab 1904 ist er jedoch in der Stadt Dortmund nachweisbar.
Zeitweilig wohnten seine Mutter sowie die ältere Schwester Fanny mit ihm zusammen. Im ersten Weltkrieg leistete er Militärdienst. Berta Fillo verstarb 1917 und erlebte damit die nicht genau datierbare Hochzeit ihres Sohnes Josef und Antonie Pauline Rosalie geborene Tretzak, verwitwete Hörster, wahrscheinlich nicht mehr. Fanny heiratete 1918 den Katholiken Karl Paul Emil Finger und zog mit ihm nach Bochum.
1923 zog das kinderlose Paar in das zu einem unbekannten Zeitpunkt erworbene Haus in der Stiftstraße 15, das mindestens bis 1938 im Besitz Josef Fillos verblieb. Bis zu diesem Jahr unterhielt Josef im gleichen Haus eine Möbelagentur bzw. ein Bettengeschäft.
Da Antoine nicht dem jüdischen Glauben angehörte, stand Josef bis zum Tode seiner Ehefrau im März 1943 im Schutz der sogenannten „bevorrechtigten Ehe“. Dieses Privileg erlosch mit Antoines Tod. Anfang April 1943 wurde Josef im Polizeigefängnis Steinwache inhaftiert.
Dort verstarb er am 24. April an einem Herzschlag. Obwohl diese Todesursache angesichts seines fortgeschrittenen Alters nicht unwahrscheinlich ist, werden die Todesumstände als dubios angesehen und sein Ableben auf die nationalsozialistischen Verfolgungsmaßnahmen zurückgeführt. Seine Schwester Fanny fiel Anfang Januar 1943 ebenfalls der Shoah zum Opfer.