Kamieniołom granitu na wschodnich zboczach Krowiarki istniał od XIX wieku. W latach 1904 - 1924 kamieniołom należał do firmy C.L. Lehmann ze Strzegomia. W 1925 r. kamieniołom kupił Alfons Hay i założył firmę "Granitwerke A. Hay". W maju 1940 r. kamieniołom odkupiła spółka "Deutsche Erd und Steinwerke GmbH" - spółka wykonawcza SS. W kamieniołomie poziom zatrudnienia miał wynosić minimum 1000 robotników. Aby zapewnić organizacji SS zysk potrzebną do tego siłę roboczą zapewnić miał obóz koncentracyjny Sachsenhausen (działał od 1936 r.) poprzez zorganizowanie w Rogoźnicy podobozu. "Arbeitslager Gross-Rosen" - tak brzmiała wówczas oficjalna nazwa podobozu utworzonego obok kamieniołomu. Pierwsza, 100-osobowa grupa więźniów przybyła do Rogoźnicy (AL Gross-Rosen) z KL Sachsenhausen 2 sierpnia 1940 roku, później przybywały następne transporty. W latach 1941-1945 kamieniołom był miejscem kaźni. Po wojnie kamieniołom był eksploatowany pomimo sprzeciwu historyków i środowisk byłych więźniów. Po wielu latach starań od września 2005 r. kamieniołom został włączony do Muzeum Gross-Rosen - bez prawa do dalszej eksploatacji surowców skalnych.