Obraz Matki Bożej jest pochodzenia skandynawskiego i powstał w XV wieku. Do Polski trafił w 1534 r. Przywieziony został z Węgier przez grasujących w okolicach Andrychowa zbójców.
Obraz Maryi był własnością herszta bandy i wisiał w kapliczce wybudowanej na palach na inwałdzkim stawie. Zbójcy podpływali tam na łodziach.
W niedługim czasie banda została rozbita przez Augustyna Kordeckiego, późniejszego przeora i obrońcę Jasnej Góry. Wyprawił się on na zbójców, gdyż ci porwali jego siostrę z dworu Zebrzydowskich. Po tych wydarzeniach herszt bandy się nawrócił, a obraz NMP przekazał mieszkańcom Inwałdu i umieszczono go w głównym ołtarzu.
Ksiądz Jan Twardowski w swej „Litanii Polskiej”, wymieniając najważniejsze sanktuaria Maryjne w Polsce napisał:
Madonno Inwałdzka, któraś skruszyła herszta ze zbójami – módl się za nami.
Zapisy parafialne prowadzone od 1756 r. dowodzą, że sława tego obrazu znana była nie tylko miejscowej ludności, ale i na Podhalu, Śląsku, Małopolsce i Mazowszu.