O Golubkach były już wzmianki w 1541 r. Nazwa wsi pochodzi od nazwiska jej pierwszego właściciela Marcina z Golubia.
Pod koniec XIX w. przy drodze z Olecka do Gołdapi została zbudowana cegielnia. Na zachód od niej znajdowały się duże pokłady gliny. W zakładzie był kocioł z 1891 r. Służył on do wytwarzania pary do suszenia surowej cegły. Po jej osuszeniu była ona układana w piecu kręgowym Hoffmana. Następnie była wypalana. Cały proces, to jest zatoczenia, wypalania i wytoczenia cegły, trwał do 12 dni.
W 1938 r. nazwa Golubki została zmieniona na Kalkhof ze względu na występujące w okolicy liczne złoża sylurskich skał wapiennych.
W 1944 r. właścicielem cegielni był Friedrich Jotzo. Zimą 1944/1945 w Golubiach znajdował się niemiecki obóz pracy. Więźniowie pracowali w cegielni, na żwirowni i w pobliskich gospodarstwach rolnych. Inni byli wykorzystywaniu do prac przy budowie umocnień na linii frontu.
Po koniec XX w. zakład został rozbudowany. Produkowano tam cegły, dachówki i sączki melioracyjne. Rocznie wytwarzano 7 milionów cegieł. Glinę dowożono ze Stożnych.
W 2021 r. zostały sprzedawane ostatnie zapasy cegieł. Produkcja zmniejsza się ze względu na brak pracowników.
