La Silicon Valley Co

Se vuoi avere un'idea di ciò che le aziende stanno realmente facendo con l'infrastruttura AI e dei problemi di capacità di elaborazione e di rete, alimentazione e raffreddamento che si trovano ad affrontare, ciò che devi fare è parlare con alcuni fornitori di data center di co-ubicazione. E quindi, lo faremo iniziando da Colovore, che ha sede a Santa Clara, nel cuore della Silicon Valley e forse il posto peggiore in cui gestire un data center.

Oppure, se lo fai bene, forse il posto migliore perché la domanda dei clienti è alle stelle. Ed è proprio così che la vede Ben Coughlin, co-fondatore, presidente e direttore finanziario di Colovore.

Colovore ha attirato la nostra attenzione perché è il luogo in cui Cerebras Systems ospita il suo cluster "Andromeda" di sedici dei suoi sistemi informatici su scala wafer CS-2, che fornisce oltre 1 exaflop di matematica in virgola mobile FP16 a mezza precisione per l'addestramento dei modelli di intelligenza artificiale. , che è mostrato nell'immagine in alto nel data center su Space Park Drive vicino all'aeroporto internazionale di San Jose Mineta - e stranamente dall'altra parte della strada rispetto all'UNIXSurplus Computer Store e a un tiro di schioppo dai data center gestiti da Digital Realty, Equinix, Evocative e Tata Communications.

Fondata nel 2012, proprio quando stava iniziando il boom dell’intelligenza artificiale accelerata dalle GPU, Colovore ha raccolto fino ad oggi 8 milioni di dollari in finanziamenti e finora ha un solo data center. Il data center SJC01 dell'azienda pesa 24.000 piedi quadrati, compatto grazie al raffreddamento a liquido, ed è operativo dal 2014. La struttura SJC01 è stata ampliata in modo incrementale, con un'espansione di 2 megawatt all'interno della struttura effettuata nel febbraio 2022, per avvicinarsi al suo carico completo di 9 megawatt. I rack partivano da 20 kilowatt di potenza e raffreddamento e si sono espansi fino a 35 kilowatt. Il suo data center SJC02, che aprirà nel secondo trimestre del 2024, occuperà l'edificio UNIXSurplus, che ha affittato da Ellis Partners. (C'è una metafora se mai ne avessimo vista una...) Ha circa 29.000 piedi quadrati di spazio e, come SJC01, offrirà solo rack raffreddati a liquido e possibilmente un raffreddamento a liquido diretto se i clienti lo richiedono. (E pensiamo che lo faranno.) I rack raggiungono fin dall'inizio fino a 50 kilowatt nel nuovo data center.

Colovore è stata co-fondata da Sean Holzknecht, che era vicepresidente delle operazioni presso Evocative e ha fondato un altro operatore di data center chiamato Emerytech Data Center dopo un periodo di gestione di più uffici centrali a San Francisco per Pacific Bell. Coughlin è la persona che si occupa di soldi ed è stato partner di Spectrum Equity Investors, una società di private equity con 5 miliardi di dollari di capitale focalizzata sulle telecomunicazioni e sui media digitali. Peter Harrison, il terzo cofondatore di Colovore, ha gestito l'impronta globale del data center di Google, il suo progetto Fiber to Premies e la rete di distribuzione dei contenuti di YouTube. Harrison è stato direttore delle operazioni presso eBay e ha anche aiutato Netflix a lanciare il suo servizio di streaming video.

Coughlin ci ha contattato perché vede che tutti vogliono andare avanti con l'intelligenza artificiale, ma non sono ancora del tutto concentrati sui problemi di raffreddamento con questi mostri matematici a matrice di cui hanno bisogno per guidare motori di raccomandazione e modelli linguistici di grandi dimensioni. Colovore è nel bel mezzo di tutto ciò, gestendo una struttura da 9 megawatt nel cuore dell'azione, completamente raffreddata a liquido e pronta ad affrontare il calcolo più denso di cui le sue aziende hanno bisogno. Non stiamo parlando dei 100 kilowatt per rack di cui potrebbe aver bisogno oggigiorno un enorme supercomputer di classe exascale con piastre fredde raffreddate a liquido collegate direttamente, ma ci stiamo avvicinando. E se ne hai bisogno, Coughlin ha il team e la struttura in grado di spingerti oltre i limiti proprio nel cuore della Silicon Valley.

Ben Coughlin: Ovviamente seguiamo la tua copertura di questo settore da un po'. E ci troviamo a un incrocio interessante a Colovore perché supportiamo gran parte della più recente infrastruttura AI qui nella Silicon Valley, in parte perché offriamo il raffreddamento a liquido. Si discute molto sulla crescita dell'intelligenza artificiale e su come stanno innovando sulle piattaforme server sottostanti, ma la discussione sul data center è molto limitata. La stragrande maggioranza dei data center non è costruita per supportare questi sistemi di intelligenza artificiale. Se il data center non può supportarlo, Houston, qui abbiamo un piccolo problema.