Das Gebäude in Wien wurde erstmals 1204 erwähnt und hatte einen anfänglichen Bauumfang von nur 75 m² und bestand wohl weitgehend aus Holz. Das Gebäude hatte damals drei Räume, die Eingangshalle im Norden, die Frauenschul im Süden und die Männerschul in der Raummitte, nach orthodoxer jüdischer Tradition werden Männer und Frauen getrennt.
Die Synagoge befand sich im Zentrum des Judenviertels am heutigen Judenplatz, damals der Schulhof (1294 erwähnt), im Ersten Bezirk. Der Schulhof wurde nach dem dort stehenden Gotteshaus benannt. Im Mittelalter wurden Synagogen als schola, auf Deutsch Schule (Judenschule), bezeichnet, und das jiddische Wort für Synagoge ist noch immer Schil oder Schul.
12. Mai 1267 tagte im
Stephansdom in Wien das 22. Provinzialkonzil, es wurde unter anderem bestimmt, dass die Juden keine neuen Synagogen errichten durften und alte nicht erneuern oder erhöhen und erweitern durften.
[1] Auch die Konfiszierungen oder Zerstörungen der Synagogen wurden immer häufiger. So mussten sich die Juden meist mit bescheidenen Gebäuden zufriedenstellen. Außerdem belasteten die Verfolgungen, Konfiszierungen und die schweren Steuern die Gemeinde.