İT və Proqramlaşdırma
Big Data təlimi
Hadoop, Apache Spark, Kafka, NoSQL və Airflow ilə böyük həcmli verilənlərin emalı və pipeline qurulmasını öyrədən praktiki Big Data mühəndisliyi təlimi.
Hadoop, Apache Spark, Kafka, NoSQL və Airflow ilə praktiki Big Data mühəndisliyi kursu. Bakıda və onlayn. Big Data təlimi SmartEdu tərəfindən Bakıda əyani və onlayn formada keçirilən 6 aylıq, orta səviyyəli kursdur. Dərslər həftədə 3 dəfə, hər dəfə 90 dəqiqə keçirilir. İlk 2 dərs pulsuz sınaq dərsidir. Proqram 12 modulu və 37 mövzunu əhatə edir.
Kurs haqqında
Big Data təlimi, real iş mühitində bir Big Data/Data Engineer-dən tələb olunan bütün əsas bilik və bacarıqları əhatə edən tam praktiki bir proqramdır. Kurs Big Data-nın 5V modelindən (Volume, Velocity, Variety, Veracity, Value) başlayaraq Linux, Python və SQL əsaslarını, Hadoop ekosistemini (HDFS, MapReduce, YARN), Apache Spark-ı (RDD, Spark SQL, PySpark), Apache Kafka ilə real-time stream processing-i, NoSQL verilənlər bazalarını (MongoDB, Cassandra), Apache Hive ilə data warehousing-i, Apache Airflow ilə ETL/ELT pipeline-larını, həmçinin AWS/GCP bulud Big Data servislərini ardıcıl şəkildə əhatə edir.
Hər mövzu nəzəri izahla yanaşı, real həcmli verilənlər dəstləri üzərində praktiki tapşırıqlarla möhkəmləndirilir. Spark bölməsində DataFrame API və performans optimallaşdırması, Kafka bölməsində isə producer/consumer arxitekturası və Spark Structured Streaming ilə inteqrasiya dərindən öyrədilir. Airflow bölməsində DAG-ların yaradılması və pipeline monitorinqi göstərilir.
Kursun sonunda tələbələr real həcmli verilənlər dəsti üzərində Spark və Kafka istifadə edərək uçdan-uca (end-to-end) bir Big Data pipeline-ı qurub, nəticələri vizuallaşdırıb təqdim edirlər. Bu yanaşma, kursu bitirən tələbələrin real iş elanlarında rast gəldiyi Big Data mühəndisliyi tələblərinə tam hazır olmasını təmin edir.
Nələri öyrənəcəksiniz
- Big Data-nın 5V modelini və müasir data arxitekturalarını başa düşmək
- HDFS və MapReduce ilə paylanmış (distributed) verilənlərin idarə olunması
- Apache Spark (PySpark) ilə böyük həcmli verilənlərin emalı
- Apache Kafka ilə real-time stream processing həyata keçirmək
- MongoDB və Cassandra kimi NoSQL verilənlər bazaları ilə işləmək
- Apache Hive ilə data warehouse sorğuları yazmaq
- Apache Airflow ilə ETL/ELT pipeline-ları qurmaq və monitor etmək
- AWS/GCP bulud platformalarında Big Data həlləri qurmaq
- Böyük verilənlər üçün effektiv vizualizasiya və hesabatlar hazırlamaq
- Git və GitHub ilə komanda daxilində versiya nəzarəti aparmaq
- Data pipeline-larda performans və xəta idarəetməsi prinsiplərini tətbiq etmək
- Real biznes tələblərinə əsaslanan uçdan-uca Big Data layihəsini sıfırdan hazırlamaq
Tələblər
- Kompüterdən sərbəst istifadə bacarığı
- Python və SQL-in əsasları haqqında ibtidai anlayış arzuolunandır (məcburi deyil, kursda tədris olunur)
- Analitik düşünmə və böyük sistemləri anlamaq marağı
- Windows, macOS və ya Linux əməliyyat sistemi olan kompüter/noutbuk (minimum 8-16GB RAM tövsiyə olunur, virtual klaster üçün)
- Kursa həftədə minimum 8-10 saat vaxt ayıra bilmək
- Əvvəlcədən Big Data təcrübəsi tələb olunmur — sıfırdan tədris olunur
Kurikulum
-
3 gün
Big Data-ya Giriş
Big Data-nın 5V modeli (Volume, Velocity, Variety, Veracity, Value) Ənənəvi verilənlər bazaları ilə Big Data həllərinin fərqi Big Data ekosistemi və alətlər xəritəsi -
1 həftə
Linux və Git & GitHub
Linux terminalı və fayl sistemi Shell scripting əsasları Git əsas əmrləri və GitHub-da komanda işi -
1 həftə
Python və SQL Əsasları
Python sintaksisi və data strukturları SQL: SELECT, JOIN, aqreqasiya sorğuları Pandas ilə kiçik həcmli verilənlərin emalı -
2 həftə
Hadoop Ekosistemi
HDFS (Hadoop Distributed File System) arxitekturası MapReduce proqramlaşdırma modeli YARN resurs idarəetməsi Hadoop klasterinin qurulması (pseudo-distributed mode) -
2 həftə
Apache Spark Əsasları
Spark arxitekturası (Driver, Executor, Cluster Manager) RDD və transformasiya/əməliyyatlar Spark SQL və DataFrame API PySpark ilə praktiki tapşırıqlar -
2 həftə
Apache Kafka və Stream Processing
Kafka arxitekturası (topic, partition, broker) Producer/Consumer yazılması Spark Streaming/Structured Streaming ilə real-time emal -
1 həftə
NoSQL Verilənlər Bazaları
MongoDB (document-based) ilə iş Cassandra (wide-column) ilə iş NoSQL vs SQL seçim meyarları -
1 həftə
Data Warehousing və Hive
Data Warehouse konsepsiyası Apache Hive ilə HiveQL sorğuları Star/Snowflake schema dizaynı -
2 həftə
ETL/ELT və Data Pipeline (Apache Airflow)
ETL/ELT proseslərinin dizaynı Apache Airflow ilə DAG-ların yaradılması Data pipeline-ların monitorinqi və xəta idarəetməsi -
1 həftə
Bulud Big Data Servisləri (AWS/GCP)
AWS S3, EMR və Glue icmalı Google BigQuery ilə serverless analitika Bulud əsaslı Big Data arxitekturası -
3 gün
Data Vizualizasiyası və Hesabatlılıq
Böyük verilənlər üçün vizualizasiya prinsipləri Tableau/Power BI ilə Big Data mənbələrinə qoşulma -
2 həftə
Yekun Layihə
Real həcmli verilənlər dəsti üzərində uçdan-uca Big Data pipeline-ı Spark ilə emal, Kafka ilə stream inteqrasiyası Layihənin təqdimatı və nəticələrin şərhi
Tez-tez verilən suallar
Python və SQL-in əsasları kursun ilk modullarında sıfırdan öyrədilir, ona görə əvvəlcədən təcrübə məcburi deyil, lakin faydalıdır.
Hər ikisi tədris olunur — Hadoop ekosisteminin əsasları (HDFS, MapReduce) baza kimi öyrədilir, əsas praktiki fokus isə daha sürətli və müasir olan Apache Spark üzərindədir.
Bəli, AWS (S3, EMR, Glue) və Google BigQuery kimi bulud Big Data servisləri ayrıca modulda icmal edilir.
Junior Big Data Engineer, Data Engineer stajı/vəzifələrinə uğurla müraciət edə bilərsiniz.
Kurs hibrid formatdadır — istəyinizə görə Bakıdakı ofisimizdə əyani, yaxud onlayn iştirak edə bilərsiniz.
Kursun sonunda tələbələr real həcmli verilənlər dəsti üzərində Spark və Kafka istifadə edərək uçdan-uca Big Data pipeline-ı qurub təqdim edirlər.