1857 setzte der Kanton Zürich Johann Jakob Keller als Verwalter auf dem Schloss Teufen ein. Das landwirtschaftliche Gut betrieb auch eine Handziegelei – eine zur damaligen Zeit nicht unübliche Kombination. Zur Ziegelhütte in Teufen kam eine weitere in Dättlikon, die bald durch eine ungewöhnlich grosse Ziegelei zur Erstellung von Backsteinen in Neftenbach abgelöst wurde.
1903 gründete Johann Jakob Keller die Kollektivgesellschaft Keller & Cie. mit Sitz in Winterthur, die auch eine Ziegelei in Dättnau betrieb. Nach seinem Tod übernahm sein Sohn Jakob Ulrich Keller das florierende Unternehmen. Seine Söhne Hans und Franz Keller traten in die Firma ein.1922 wurde die Aktienmehrheit der Ziegelei Paradies in Schlatt/TG und der Dachziegelwerke Frick/AG, wenig später auch die der Ziegelei in Kölliken/AG übernommen. 1933 wurde aus der Keller & Cie. eine Aktiengesellschaft mit Sitz in Pfungen.
Nach dem Krieg reagierten Vater und Söhne Keller auf den kaum vorhersehbaren Anstieg der Bautätigkeit und erwarben die Ziegelhütte Basadingen/TG sowie die Ziegelei Erzingen (Deutschland). Nach seinem Eintritt im Jahr 1959 konnte Peter Keller eine neue Dachziegelanlage in Pfungen mit der weltweit ersten vollautomatischen Mehrfachdachziegelpresse in Betrieb nehmen und kurz darauf errichteten Vater und Sohn eine der modernsten Ziegeleien in Paradies/TG. Sukzessive wurden die Werke Pfungen, Frick und Paradies ausgebaut, automatisiert und ältere Werke stillgelegt.
1961 fassten sie die Aktivitäten der Keller Gruppe in der Keller Holding AG mit Sitz in Pfungen zusammen. 1995 trat Christian Keller in fünfter Generation in den Familienbetrieb ein und übernahm zwei Jahre später die Leitung der Ziegeleien. 2001 wurde die Produktion von Dachziegeln in Pfungen aufgegeben und die Keller AG Ziegeleien zog sich von diesem Geschäftsfeld zurück. Im Jahre 2006 wurde die Vorfabrikation in Pfungen ausgebaut. Eine weitere Produktionshalle sowie eine neue Betonanlage ermöglichten den Einstieg in die Produktion von Fassadenelementen aus Beton.
Mit der Erneuerung der Backsteinproduktion in Frick im Jahre 2008/2009 besitzt die Keller Gruppe eines der grössten und modernsten Backsteinwerke der Schweiz. Im Jahre 2014 wurden Teile der Keller AG Ziegeleien in eine neue Firma, die Keller Systeme AG abgespalten und die Unternehmung neu organisiert.
