Josef Prosser wure am 6. März 1861 in Itter als drittes Kind von dreizehn des Lehrers Josef Prosser aus Alpbach und der Theresia geb. Stumpf, Hofbauers- und Wirtstochter in Itter, geboren. Das Gymnasium absolvierte Prisser bei den Franziskanern in Hall i. T. Damals hatten die Lehrer eine überaus schlechte Bezahlung und so musste der Bub das schwere Los eines Bettelstudenten tragen.
1880 fand Prosser Aufnahme im Priesterseminar in Salzburg. Am 16. Juli 1884 erhielt er durch Erzbischof Franz Albert Eder die Priesterweihe und am 10. August, dem Fest des hl. Laurentius, durfte er in Oberau das erste hl. Messopfer darbringen. Noch im gleichen Jahr wurde Prosser Kooperator in Bischofshofen. Weitere Wirkungsorte waren Goldegg, Lend, Golling, Hof (Provisor), Werfenweng (Provisor), Leogang, Oberndorf (Kooperator), Thalgau, Nonntal, Hallein (Stadtvikar), dann als Pfarrer in Viehofen, Wörgl, Badgastein, St. Ulrich am Pillersee und in Breitenbach.
Ab 1931 lebte er im Ruhestand in Dorfgastein und in Hallein, wo er am 17. März 1936 starb.
Als 1896 die Pfarre Wörgl frei geworden war, bewogen Prosser hauptsächlich die Mutter und sein Lieblingsbruder Hans (Schuldirektor in Rattenberg), um die Pfarre zu kompetieren. Mit 35 Jahren wurde er nun Pfarrer in Wörgl. Der Tag seiner Installation war ein sehr kalter 13. Dezember. Prosser war in seinem 13. Berufsjahr, dann waren 13 Priester bei der Feier anwesend und schließlich war er dann auch 13 Jahre Pfarrer von Wörgl. Während seiner Seelsorge entwickelte sich der katholische Arbeiterverein zu schöner Blüte. Sein treuer Helfer war Krippenvater Johann Seisl. 1901 nahm Prosser mit 10 Mitgliedern des Arbeitervereins an einer Pilgerfahrt nach Jerusalem teil. Die Eindrücke dort gaben wohl auch die Anregung, für Wörgl ein würdiges heiliges Grab zu schaffen. Prossers kathechetisches Wirken wird von seinen priesterlichen Zeitgenossen besonders hervorgehoben. In einem Nachruf nach seinem Tod heißt es: "Er war ein intelligenter Mann, guter Musiker und praktischer Katechet. Seine Schrift 'Psychologie des Religionsunterrichts' hat Aufsehen gemacht." Die Jahrhundertwende wurde kirchlich besonders festlich gestaltet durch ein mitternächtliches Hochamt und eine Festpredigt, gehalten von P. Michael Gatterer S. J. Aus musikalischer Familie stammend war Pfarrer Prosser immer ein Freund des Liedes. Gern ließen sich sangesfrohes Wörgler zu einem Chor vereinen, der dann bei Theater und Versammlungen durch seine Darbietungen erfreute. Zur Winterszeit wurde vom Arbeiterverein Theater gespielt und der Ertrag zur Weihnachtsbescherung armer Kinder verwendet. Die Theaterstücke dichtete Pfarrer Prosser zum Großteil selbst. Darunter waren "Der blinde Emir", "Ein Spiel aus der Zeit der Kreuzritter" und "Das Geschenk der Zwerge". Die verschiedenen Veranstaltungen wie Weihnachts-, Neujahres- oder Josefifeiern wurden immer zu Familienfeiern gestaltet. Oft hörte man von ihm: "Die Famlie darf durch keine Vereine gespalten werden!" Auch dafür, dass die bodenständige Wörgler Bevölkerung bei der Tracht bleiben solle, setzte er sich kräftig ein. Auch der Vinzenzverein war damals in reger Tätigkeit. Die wöchentlichen Konferenzen fanden beim "Schachtner Klaus" sattt. Es geschah in Wörgl viel für die Armen. Pfarrer Prosser hatte persönlich stets eine offene Hand für diese. Leider wurde seine Güte auch oft missbraucht.
Sehr am Herzen lag Pfarrer Prosser die dringend nötige Renovierung der Kirche, die sehr verstaubt und bar jeden Schmuckes war. Mit Hilfe großmütiger Wohltäter wurde sie dann auch durchgeführt. Am Gewölbe, das außer dem Bild des hl. Laurentius ganz kahl war, brachte man feine Stukkatur an, die Pillaster erhielten eine Verkleidung durch Kunstmarmor. Das schönste aber war der Hochaltar. 1907 wurde von Baumeister Ferdinand Mayr der neue Pfarrhof gebaut. Eineinhalb Jahre lebte Pfarrer Prosser noch in diesem Heim. Im Jahr 1908 veranstaltete er noch den Wörgler Katholikentag, der einen Massenbesuch aufwies. Zur Erinnerung an Pfarrer Prosser wird seine kunstvolle Primizkrone im Wörgler Heimatmuseum aufbewahrt.