Skip to content
dataengineers.pro

Roadmaps

Микророадмэп: Что не делать при вкатывании в DE, чтобы не выгореть не вкатившись! ⛔🔥😖

- 12-imho идей/НЕ-советов юнному падавану;

Родилось из https://t.me/halltape_data/465?comment=5423

Image DataLake

Увидя пост про роадмэп и пройдя по ссылкам, я сразу понял “Вот оно! Родился священный грааль юнного DE!.. 🤩“

Но покликав и подумав ещё немного, я понял, что сей океан знаний может ужаснуть новичка, а кого и не ужаснёт, может завести в глубокие дебри этого непростого ремесла – Дата инженерии – а потом и в пресловутое выгорание…

Поэтому беря эту дорожную карту (aka roadmap) в руки, держись, но не бойся длинного пути! Ибо

  • «Путь в тысячу ли начинается с одного шага» (с) Лао-цзы**
  • помни, что не нужно пройти весь путь, а нужно ступить на него
    • и быстрее пройти шаг до 1й работы / стажировки!
    • _а дальше оно само пойдёт!

И чтобы быстрее и безболезнее пройти этот шаг, нужно попробовать отсечь лишнее. Дальше я со своей сеньёрной колокольни привожу свой краткий топ (12 идей) того, что можно поропбовать отсечь:

Кратко:

- ⛔️**Не лезть в Scala, Java, Go, Rust и тп, а хорошо освоить основы SQL (до простых оконок), азы python (достаточном для работы с Airflow/PySpark) и чуть-чуть bash!
- ⛔️**Не изучать ДатаВолты и Якоря** и прочий DataMesh, но знать 2-3NF, Star-схему и SCD2!
- ⛔️**Не учить команды git**, а уметь в PR нажав кнопочки VSCode/PyCharm, создать github-репу, PR в нём!
- ⛔️**Не решать задачи на литкоде** сложнее Easy по python, Medium по SQL!
- ⛔️**Не лезть в теорию Linux и Docker**, но уметь в терминале FS, SSH, Nano и запустить Docker-compose.
- ⛔️**Не пытаться объять необъятное**, но знать азы dbt, Airflow, ClickHouse, а так же знать **для чего нужны** Hadoop, Spark, Iceberg, Trino, Greenplum и BI (не углубляясь в них!)
- ⛔️**Не лезть в pandas**, а лучше вместо этого научиться делать самый минимум на Spark (достаточно на Spark SQL + сохранение в файл/таблицу)!
- ⛔️**Не мучаться придумыванием петов**, а хорошо разобрать существующий, напр [github.com/halltape/HalltapeETL](https://github.com/halltape/HalltapeETL/blob/main/README.md) (или попробовать на вайбкодить свой со стеком выше)
- ⛔️**Не придумывать сложные петы**, а прикрутить к простому README и Makefile с норм описанием и сетапом, docker-compose.yml, линтером и тестами!
- ⛔️**Не вести блокнотик, заметки и тп**, но делать больше **осмысленных зелёных точек** в github!
- ⛔️**Не лазить с вопросами по tg-чатам, а уметь в ChatGPT/Claude/Gemini/DeepSeek, но понимая их ограничения (в tg-чаты приходить в крайнем случае с шареной ссылкой из GTP)!
- ⛔️**Не копировать код из ChatGPT/Claude/Gemini/DeepSeek для больших задач с отладкой, а уметь вместо этого в ClaudeCode, Codex, Cursor, etc!
- ⛔️**Не искать курсы**, а проходить собесы, записывая на них вопросы и свои ответы для последующего разбора!


**_[Подробнее...](https://t.me/halltape_data/465?comment=5423)_**


* \* не согласен / согласен – хочешь обсудить – [пиши](https://www.dataengineers.pro/mentors/nikolay-krupiy)!
* * площадка для более подробного обсуждения будет опубликовано в [t.me/data_career](https://t.me/data_career) позже