Les travaux de construction de cette mosquée ont été lancés en 1928 par des fonds cueillis par l’Association Islamique de Kobe et elle a été inaugurée en 1935.
La mosquée de Kobe a été conçue par Jan Josef Švagr, architecte tchécoslovaque.
Durant la seconde guerre mondiale et avec le début des bombardements des villes japonaises, cette mosquée servait d’un lieu sûr pour les habitants de la ville.
En 1943, elle a été confisquée par la marine de l’empire japonais. Cependant après la fin de la seconde guerre mondiale, la mosquée a repris ses activités comme lieu de culte. Elle a résisté non seulement à la seconde guerre mondiale, mais également au grand séisme survenu en 1995 à Kobe.
La mosquée de Kobe est située dans un quartier touristique de la ville où se trouvent de nombreux anciens bâtiments de modèle occidental.