De kerk is een ontwerp van de architect P.J.H. Cuypers, met bijdragen van zijn zoon Jos Cuypers. De kerk is in neogotische stijl gebouwd van 1885 tot 1887 en geconsacreerd op 25 mei 1887. De kerk werd aanvankelijk als parochiekerk gebruikt tot in 1970 de  Sint-Martinuskathedraal aan de Broerstraat aan de eredienst werd onttrokken. In 1981 werd de Jozefkerk officieel de kathedraal van het bisdom Groningen-Leeuwarden. 

Cuypers baseerde de vorm van de kerk op de Broederenkerk te Zutphen;  een driebeukige basiliek zonder transept met forse steunberen en luchtbogen. Eerder gebruikte de architect hetzelfde voorbeeld bij het ontwerpen van de  Sint-Vituskerk in Bussum.

Sinds 1906 bezit de Sint-Jozefkerk een hoofdorgel gebouwd door de Utrechtse firma Maarschalkerweerd.

Het ontwerp van de toren is op twee punten bijzonder: De zeskantige vorm en het gebruik van gietijzer als materiaal voor de 76 meter hoge torenspits. Vanuit alle kijkrichtingen zijn er twee wijzerplaten te zien (wat bij een vierkante toren ook kan), en vaak zelfs drie (wat bij vierkante torens onmogelijk is). Het zien van drie klokken tegelijk werd door sommige schertsenderwijs gerelateerd aan de effecten van alcohol. Dankzij deze eigenaardigheid heeft de toren de bijnaam ‘dronkenmanstoren’ gekregen.