L’avvento dei cluster e di Linux
La standardizzazione aveva finalmente reso economicamente abbordabili tutte le componenti tecnologiche, dalle memorie alle tecnologie di rete, dai dischi ai processori, permettendo quindi di costruire un sistema distribuito con potenza aggregata paragonabile a quella di un supercomputer quella di non legarsi in modo indissolubile ad un’architettura che non garantisse alcuna portabilità dei codici su di essa sviluppati; quella delle case produttrici era invece di dotare le proprie architetture di strumenti di sviluppo parallelo, quali compilatori, librerie e ambienti di parallelizzazione, che fosse il più vicino possibile a degli standard non ancora ben definiti; in quegli anni molto si parlava di standard per il Fortran parallelo (Fortran90, HPFortran), per il C e per C++ parallelo, senza tuttavia arrivare ad un punto fermo nella loro definizione. Il problema software caratterizzò gran parte del ciclo di vita di prodotti tecnologicamente sofisticati dal punto di vista hardware, ma sicuramente deficitari nell’offerta di ambiente di sviluppo e ma ad una frazione del suo costo.
Molte istituzioni in questo periodo portarono a termine il processo di downsizing, ovvero, il ridimensionamento verso il basso, del proprio installato, eliminando i vetusti mainframe laddove gli applicativi da essi dipendenti non fossero risultati indispensabili. Il costo di rinnovamento, con server di fascia medio-alta dotati di processori RISC al posto delle Unità Centrali dei mainframe e workstation dotate di grafica 2/3D al posto di tradizionali terminali, era spesso coperto con il risparmio sulla manutenzione annuale delle macchine dismesse. Su questo modello di sistema distribuito, dotato a volte di un’interconnessione particolare, ma molto spesso semplicemente di interfacce Ethernet, si cominciarono a delineare con più precisione i pregi ed i limiti della gestione di un sistema distribuito e vennero quindi gettate le basi di soluzioni di clustering.
L’abbattimento dei costi degli hardware lasciava tutti molto soddisfatti, non la necessità di dover pagare le licenze di un sistema operativo Unix proprietario. Linux fù la soluzione al problema; poteva essere eseguito su hardware a basso costo e dal codice aperto, il che dava la possibilità a scienziati e ricercatori di utilizzarlo e modificarlo liberamente senza dover incorrere nel pagamento di licenze. Prima di Linux, progetti con caratteristiche open avevano già prodotto compilatori, librerie e miriadi di strumenti senza i quali Linux stesso non sarebbe potuto nascere. Nel 1994 nacque il primo progetto di cluster per applicazioni scientifiche parallele completo, denominato Beowulf; frutto del lavoro di Thomas Sterling e Donald Becker, il progetto prevedeva, partendo da pezzi di recupero e componenti a bassissimo costo (COTS, commodity off the shelf), la realizzazione di un sistema distribuito con prestazioni e scalabilità tipiche di un supercomputer. L’idea di Sterling e Becker, essendo trasportabile, riproducibile e soprattutto libero, finì con lo sconvolgere il mercato dell’HPC (High Performance Computing). Per la prima volta nel 1998 nella classifica dei Top500 Supercomputers, la classifica mondiale dei 500 supercomputer più potenti, si videro due Beowulf cluster realizzati con nodi classe PC e sistema operativo Linux (Cplant del Sandia National Labs e Avalon dei Los Alamos National Labs)
