Skip to content
dataengineers.pro

Roadmaps

Микророадмэп: Что не делать при вкатывании в DE, чтобы не выгореть не вкатившись! ⛔🔥😖

- 12-imho идей/НЕ-советов юнному падавану;

Родилось из https://t.me/halltape_data/465?comment=5423

Image DataLake

Увидя пост про роадмэп и пройдя по ссылкам, я сразу понял “Вот оно! Родился священный грааль юнного DE!.. 🤩“

Но покликав и подумав ещё немного, я понял, что сей океан знаний может ужаснуть новичка, а кого и не ужаснёт, может завести в глубокие дебри этого непростого ремесла – Дата инженерии – а потом и в пресловутое выгорание…

Поэтому беря эту дорожную карту (aka roadmap) в руки, держись, но не бойся длинного пути! Ибо

  • «Путь в тысячу ли начинается с одного шага» (с) Лао-цзы**
  • помни, что не нужно пройти весь путь, а нужно ступить на него
    • и быстрее пройти шаг до 1й работы / стажировки!
    • _а дальше оно само пойдёт!

И чтобы быстрее и безболезнее пройти этот шаг, нужно попробовать отсечь лишнее. Дальше я со своей сеньёрной колокольни привожу свой краткий топ (12 идей) того, что можно поропбовать отсечь:

Кратко:

  • ⛔️Не лезть в Scala, Java, Go, Rust и тп, а хорошо освоить основы SQL (до простых оконок), азы python (достаточном для работы с Airflow/PySpark) и чуть-чуть bash!
  • ⛔️Не углубляться в SQL и python глубже, чем нужно реально для Jr DE DE-вкатывальщика!
  • ⛔️Не решать задачи на литкоде сложнее Easy по python, Medium по SQL!
  • ⛔️Не изучать ДатаВолты и Якоря и прочий DataMesh, но знать 2-3NF, Star-схему и SCD2!
  • ⛔️Не учить команды git, а уметь в PR нажав кнопочки VSCode/PyCharm, создать github-репу и как создать PR в нём!
  • ⛔️Не лезть в теорию Linux и Docker, но уметь в терминале FS, SSH, Nano и запустить Docker-compose.
  • ⛔️Не пытаться объять необъятное, но знать азы dbt, Airflow, ClickHouse, а так же знать для чего нужны Hadoop, Spark, Iceberg, Trino, Greenplum и BI (не углубляясь в них!)
  • ⛔️Не лезть в pandas, а лучше вместо этого научиться делать самый минимум на Spark (достаточно на Spark SQL + сохранение в файл/таблицу)!
  • ⛔️Не мучаться придумыванием петов, а хорошо разобрать существующий, напр github.com/halltape/HalltapeETL (или попробовать навайбкодить свой со стеком выше)
  • ⛔️Не придумывать сложные петы, а прикрутить к простому README и Makefile с норм описанием и сетапом, docker-compose.yml, линтером и тестами!
  • ⛔️Не вести блокнотик, заметки и тп, но делать больше осмысленных зелёных точек в github! (ладно, любите конспекты и заметки – ведите их там же!)
  • ⛔️Не лазить с вопросами по tg-чатам, а уметь в ChatGPT/Claude/Gemini/DeepSeek, но понимая их ограничения (в tg-чаты приходить в крайнем случае с шареной ссылкой из GPT)!
  • ⛔️Не копировать код из ChatGPT/Claude/Gemini/DeepSeek для больших задач с отладкой, а уметь вместо этого в ClaudeCode, Codex, Cursor, etc!
  • ⛔️Не искать курсы, а проходить собесы, записывая на них вопросы и свои ответы для последующего разбора!

Подробнее…

  • * не согласен / согласен – хочешь обсудить – пиши!
    • площадка для более подробного обсуждения будет опубликовано в t.me/data_career позже