Im Oktober 1929 gründete Pfarrer Sebastian Maier mit 30 Mitgliedern den OGV Neukelheim-Walddorf. Im Jahr 1935 wurde aufgrund des Zusammenschlusses der Orte dieser zum OGV Ihrlerstein:
“Obst- und Gartenbauverein Kelheim-Walddorf gegründet 21.10.1929 Maier, Vorstand Gründungsmitglieder: Wellner Lullus-Lehrer, Ströbl Wilhelm-Förster, Ried Andreas, Glockner Ludwig-Ha. Lehrer, Brückl Andreas, Krampfl Franz, Kellner Karl, Beer Peter, Krampfl Ludwig, Brückl Anton, Maier Sebastian Josef, Stangl Johann, Hacker Josef, Kammermeier Josef, Schlachtmeier Georg, Gebhardt Josef, Wallner Anna, Schmailzl Franz, Ostermeier Heiner, Wutzlhofer Alois, Dobler Georg, Dremmel, Handl Johan”
Nach der Gründung wurden Obstbäume für Ihrlerstein bestellt und Fässer mit Most gefüllt, angeboten sowie Winterspritzungen durchgeführt. Auch währernd des Krieges konnte “durch eine erstaunliche Nachbarschaftshilfe” gemostet und die Obstbäume gepflegt werden. Die Mosterei hatte bis in die 1980er-Jahre einen wichtigen Stellenwert. Der Most wurde an Mitglieder und Nicht-Mitglieder günstig verkauft. In guten Obstjahren wie beispielsweise 1978 wurden mit der neu erworbenen Obstpresse ein Ertrag von 64 hl erzielt.
Durch intensive Werbeaktionen 1952 und 1953 hatte sich die Zahl der Mitglieder auf über 100 erhöht und stieg bis 1971 auf eine Mitgliedschaft von 140 Gartenfreunden.
Ein steter Berater war der Gemeindefachberater Friedrich Hardt. Ihm ist es zu verdanken, dass 1958 eine neue Obstpresse, eine Motorspritze, mehrere Rückentragspritzen und sonstige Materialien für den Obst- und ‑Gartenbau unter anderem durch Zuschüsse des Landesverbandes beschafft werden konnten.
Zwischen 1955 und 1966 wurden 131 kostenlose Obstbäume und Rosen ausgegeben.
Seit 1965 hat der OGV Ihrlerstein regelmäßig Ausflugsfahrten, Veranstaltungen und Vorträge organisiert. Diese sollten neben Informationen rund um den Gartenbau auch den Kontakt der Mitglieder untereinander fördern. Die Firma Reisinger hat mit Ihrem Busunternehmen die Fahrten immer großzügig unterstützt.
Der OGV Ihrlerstein hat auch andere Vereine unterstützt, beispiesweise den 1976 neugegründeten Frauenbund und den Orgelbauverein.
In bescheidenem Rahmen wurden 1969 das 40-jährige und 1979 das 50-jährige Vereinsjubiläum begangen.