Skip to content

Instantly share code, notes, and snippets.

@architectureman
Created May 7, 2025 04:13
Show Gist options
  • Save architectureman/3656f32eae7e59eb67ece3d04428df20 to your computer and use it in GitHub Desktop.
Save architectureman/3656f32eae7e59eb67ece3d04428df20 to your computer and use it in GitHub Desktop.

Trách Nhiệm Chính

  • Hỗ trợ thiết kế, phát triển và duy trì các pipeline dữ liệu sử dụng công nghệ ETL/ELT
  • Tham gia vào việc triển khai và quản lý các hệ thống cơ sở dữ liệu như StarRocks, Doris và DuckDB
  • Học cách làm việc với các công cụ xử lý dữ liệu theo thời gian thực như Kafka và Apache Flink
  • Hỗ trợ trong việc tích hợp dữ liệu từ nhiều nguồn khác nhau sử dụng Airbyte và Debezium
  • Tìm hiểu và áp dụng các kỹ thuật Change Data Capture (CDC)
  • Phát triển và duy trì các quy trình làm việc tự động bằng Apache Airflow hoặc n8n
  • Tham gia vào các buổi thảo luận kỹ thuật và đóng góp ý tưởng cho các giải pháp dữ liệu
  • Viết tài liệu kỹ thuật và chia sẻ kiến thức trong nội bộ đội ngũ

Yêu Cầu

  • Kiến thức cơ bản về cơ sở dữ liệu quan hệ (SQL) và NoSQL
  • Có kiến thức nền tảng về lập trình với Python hoặc Java/Rust
  • Hiểu biết cơ bản về các khái niệm ETL/ELT và data pipeline
  • Khả năng học hỏi nhanh và thích nghi với công nghệ mới
  • Kỹ năng giải quyết vấn đề và tư duy phân tích tốt
  • Khả năng giao tiếp hiệu quả và làm việc nhóm

Ưu Tiên (Không Bắt Buộc)

  • Kinh nghiệm với bất kỳ công nghệ nào trong số: Docker, Kubernetes, AWS/GCP/Azure
  • Đã từng tiếp xúc với các công cụ xử lý dữ liệu lớn như Hadoop, Spark
  • Hiểu biết cơ bản về các hệ thống xử lý luồng dữ liệu như Kafka hoặc Flink
  • Kinh nghiệm với công cụ quản lý workflow như Airflow
  • Kiến thức về mô hình dữ liệu và thiết kế schema

Công Nghệ Bạn Sẽ Làm Việc

  • Cơ sở dữ liệu phân tích: StarRocks, Apache Doris, DuckDB, SlateDB
  • Tích hợp dữ liệu: Airbyte, Debezium, dbt/DBTHub
  • Xử lý luồng dữ liệu: Apache Kafka, Apache Flink
  • Điều phối workflow: Apache Airflow, n8n
  • Ngôn ngữ lập trình: SQL, Python, Java, Rust (tùy theo yêu cầu dự án)
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment