Big Query

Introduzione a BigQuery

• Elementi di Architetture di Data Analytics: da sistemi RDBMS, framework MapReduce, fino a BigQuery (Serverless e Distribuito)
• Panoramica degli utilizzi: ETL, Analytics, Machine Learning
• Strategie architetturali di BQ: Separazione tra Compute, Storage e Networking.
• Integrazione con Google Cloud Platform. BigQuery nell’ecosistema dati, analytics e machine learning in GCP. Schema di possibili interazioni.

Tipi dati, Funzioni e Operatori

• Tipi e funzioni numerici: uso corretto di operazioni decimali e grandecimali, gestione corretta della precisione, confronti tra numeri
• Booleani, uso di coalescenza, casting, coercing, COUNTIF
• Funzioni Stringhe: internazionalizzazione, formattazione, manipolazione, regex
• Tempo e Date: parsing, formattazione, lavoro col calendario, aritmetica del tempo
• Geolocalizzazione: utilizzo delle funzioni GIS

Fondamenti sulle Query

• Query semplici: Select, filtraggio, sottoquery, ordinamento
• Aggregazioni: GROUP BY, COUNT, HAVING, DISTINCT
• Uso di Array e Struct: ARRAY_AGG, STRUCT, TUPLE, UNNEST
• Join: INNER; OUTER; CROSS
• Query History, Caching, Salvataggio, Differenza tra View e Shared Query

Giorno 2

Ingestion dei dati su BQ

• Caricamento da diverse sorgenti locali (CSV, JSON, XML, ecc.); specifica dello schema, DDL, DML, caricamento dei dati in modo efficiente: Data Partitions,
• Query federate e sorgenti dati esterne, raccordi con BigTable
• Transfer ed Esportazioni: Data Transfer Service, Gestione dei Log, Utilizzo di Dataflow per leggere/scrivere con BQ. Metodi di Migrazione Dati.

Cenni al Development su BQ

• Cenni all’uso dell’interfaccia REST, Googcle Cloud Client Library
• Panoramica sui tool di Data Science con BQ: Notebook, brevi esempi con pandas.
• Cloud Dataflow
• Bash Scripting

Architettura di Big Query e Ottimizzazione di Prestazione e Costi

• Architettura di Alto Livello: ciclo di vita di una query, funzionamento del query engine, dati e metadati nello storage
• Aspetti principali di Performance e Costo
• Misurazione e Troubleshooting delle operazioni: misurazione via REST, Workload Tester, analisi dei Log, ispezione del Query Plan
• Tecniche per aumentare la velocità della query: I/O minimo, caching, efficientamento join, bilanciamento dei worker, funzioni di aggregazione approssimate
• Ottimizzazione di network overhead, scelta del formato storage più efficace, partizionamento tabelle e riduzione scan size, clustering su chiavi ad alta cardinalità
• Modello di Pricing in BQ. Ottimizzazione dei costi: batch query, ottimizzazione dello storage, controllo dei costi, caricamento file

Query Avanzate

• Aspetti avanzati delle query: parametrizzazione, funzioni SQL user-defined, riuso di parti di query, uso di array, finestrature, metadati tabellari, scripting, hashing

Giorno 3

Cenni su Machine Learning e Data Analytics

• Breve introduzione al ML. Esempio di creazione e addestramento di un modello di regressione e di un modello di classificazione. Utilizzo del modello per la predizione
• Breve esempio di sistema di raccomandazione basato su BigQuery
• Tuning degli iperparametri. AutoML.
• Data Analytics. Integrazione con Looker e Looker Studio. Esempi di Data Visualisation.

I temi trattati saranno corredati da lab pratici interattivi (walkthroughs). I partecipanti applicheranno passo per passo le istruzioni con possibilità di effettuare domande, ed interagire durante il laboratorio. Temi del laboratorio:

• • Fondamenti di SQL e BigQuery
  • Ingestione dati con BigQuery
  • Lavorare con JSON, Array e Struct in BigQuery
  • Cenni di Streaming Analytics e Pipelines con BigQuery
  • Creare modelli ML con BigQuery
  • Caso di Studio di Analitica Predittiva con BigQuery
  • Usare il Data Partition con BigQuery
  • Iniziare con Looker Studio e BIgQuery

• Conoscenza solida di SQL e concetti di data warehousing
• Esperienza con linguaggi di scripting come Python o Bash