Fosstodon

HabrИИ в 3 фазы… снижение рисков, экономия времени и помощь человеку. Но ...— нужно дать пользу уже на первом шагеЯ не делал «крутой ИИ». Я сделал систему, которая не давала людям уйти обратно к старым процессам. Первый этап — показал простоту. Второй — показал надёжность. Третий — показал интеллект. Именно поэтому этот проект стал основой для всей команды ИИ в компании. Потому что мы доказали: Не нужна большая команда. Не нужен большой бюджет. Нужно — понимание, как сделать так, чтобы каждый шаг приносил пользу. Если вы тоже работаете в корпорации, где «это невозможно», где «нет бюджета», где «это не наша задача» — начните с каркаса. Сделайте так, чтобы сегодня стало легче. И завтра — уже сами будут просить: «А теперь ты сможешь…?»<a href="https://habr.com/ru/articles/947494/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/947494/</a><a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D0%B2%D0%BD%D0%B5%D0%B4%D1%80%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#внедрение</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#разработка</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/deeplearning" class="mention hashtag" rel="nofollow noopener" target="_blank">#deeplearning</a> <a href="https://zhub.link/tags/autoencoder" class="mention hashtag" rel="nofollow noopener" target="_blank">#autoencoder</a> <a href="https://zhub.link/tags/cnn" class="mention hashtag" rel="nofollow noopener" target="_blank">#cnn</a> <a href="https://zhub.link/tags/cv" class="mention hashtag" rel="nofollow noopener" target="_blank">#cv</a>

HabrAI-ассистент в мире кода: как стать пилотом, а не пассажиромСегодня невозможно игнорировать тот факт, что AI-ассистенты, такие как ChatGPT, GitHub Copilot или Gemini, стали частью рабочего процесса. Но использовать их бездумно — значит обесценить собственное обучение и будущие карьерные перспективы. Меня зовут Дмитрий Махортов, я специалист по машинному обучению и ревьюер на курсе<a href="https://habr.com/ru/companies/yandex_praktikum/articles/944998/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/yandex_praktikum/articles/944998/</a><a href="https://zhub.link/tags/ds" class="mention hashtag" rel="nofollow noopener" target="_blank">#ds</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/data_scientist" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_scientist</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#нейросети</a> <a href="https://zhub.link/tags/%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#ии</a>

HabrPolars — «убийца Pandas» на максималкахВсем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными. В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.<a href="https://habr.com/ru/articles/946788/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/946788/</a><a href="https://zhub.link/tags/polars" class="mention hashtag" rel="nofollow noopener" target="_blank">#polars</a> <a href="https://zhub.link/tags/pandas" class="mention hashtag" rel="nofollow noopener" target="_blank">#pandas</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/dataframe" class="mention hashtag" rel="nofollow noopener" target="_blank">#dataframe</a> <a href="https://zhub.link/tags/library" class="mention hashtag" rel="nofollow noopener" target="_blank">#library</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/rust" class="mention hashtag" rel="nofollow noopener" target="_blank">#rust</a> <a href="https://zhub.link/tags/dataset" class="mention hashtag" rel="nofollow noopener" target="_blank">#dataset</a>

HabrКак высчитать дно Биткоина. Разбираем индикатор Hash Ribbons: Математика и кодНа криптовалютном рынке цены очень хаотично движутся, прогнозы сбываются не каждый раз (особенно если вы полагаетесь на мнение инфлов), а новостной фон подливает масла в огонь. В этом хаосе многие пытаются найти хоть какие-то закономерности, опираясь не на догадки, а на измеримые данные. Сегодня мы как раз и займемся таким анализом — разберем популярный в узких кругах индикатор Hash Ribbons . Но сделаем это не как трейдеры в поисках луд успеха, а разберем, что там под условно капотом. Итак, наша задача — взять экономическую гипотезу, посмотреть, как ее формализовали с помощью математики, и как в итоге она превратилась в код на Pine Script, который может запустить любой желающий.<a href="https://habr.com/ru/articles/946444/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/946444/</a><a href="https://zhub.link/tags/bitcoin" class="mention hashtag" rel="nofollow noopener" target="_blank">#bitcoin</a> <a href="https://zhub.link/tags/Hash_Rate" class="mention hashtag" rel="nofollow noopener" target="_blank">#Hash_Rate</a> <a href="https://zhub.link/tags/Onchain_analytics" class="mention hashtag" rel="nofollow noopener" target="_blank">#Onchain_analytics</a> <a href="https://zhub.link/tags/%D0%9C%D0%B0%D0%B9%D0%BD%D0%B8%D0%BD%D0%B3" class="mention hashtag" rel="nofollow noopener" target="_blank">#Майнинг</a> <a href="https://zhub.link/tags/pine_script" class="mention hashtag" rel="nofollow noopener" target="_blank">#pine_script</a> <a href="https://zhub.link/tags/tradingview" class="mention hashtag" rel="nofollow noopener" target="_blank">#tradingview</a> <a href="https://zhub.link/tags/%D0%BA%D1%80%D0%B8%D0%BF%D1%82%D0%BE%D0%B2%D0%B0%D0%BB%D1%8E%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#криптовалюты</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#анализ_данных</a>

HabrВсё что нужно знать про torch.sparseРазработчики PyTorch предоставили модуль torch.sparse для работы с разреженными тензорами , где большинство элементов – нули. Зачем это нужно? Представьте матрицу смежности графа, сильно обрезанную сеть или облако точек – хранить такие данные плотным массивом без надобности расточительно. Разрежённая структура сохраняет только ненулевые элементы и их индексы, что сильно экономит память и ускоряет вычисления . Например, матрица размером 10,000 на 10,000 с 100 000 ненулевых float-значений в разрежённом COO-формате займёт не 400 МБ, а около 2 МБ. Несмотря на перспективы, API разрежённых тензоров в PyTorch пока в бете и может менять крошечные детали . Будьте к этому готовы: часть операций поддерживается, часть – нет, и некоторые автоград-ячейки пока работают только для COO, а для CSR, например, градиент не считается. Но обо всём по порядку.<a href="https://habr.com/ru/companies/otus/articles/942164/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/otus/articles/942164/</a><a href="https://zhub.link/tags/ml" class="mention hashtag" rel="nofollow noopener" target="_blank">#ml</a> <a href="https://zhub.link/tags/Data_Science" class="mention hashtag" rel="nofollow noopener" target="_blank">#Data_Science</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B7%D1%80%D0%B5%D0%B6%D1%91%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#разрежённые_тензоры</a> <a href="https://zhub.link/tags/PyTorch" class="mention hashtag" rel="nofollow noopener" target="_blank">#PyTorch</a> <a href="https://zhub.link/tags/%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%BF%D0%B0%D0%BC%D1%8F%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#оптимизация_памяти</a> <a href="https://zhub.link/tags/torchsparse" class="mention hashtag" rel="nofollow noopener" target="_blank">#torchsparse</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%87%D0%BD%D0%BE%D0%B5_%D1%83%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#матричное_умножение</a>

HabrML — курсы vs реальность: Где же обещанные цветочки и единороги?Привет, хабр! 👋 Позвольте представиться: я - Настя, Data Scientist и TeamLead в одной вполне себе серьезной компании (когда чистишь данные в 3 ночи, чувствуешь себя совсем не серьезно, но это детали). Веду свой скромный телеграм-канальчик , где делюсь болью, радостью и абсурдом нашей необъятной профессии. И вот сегодня хочу вынести на ваш суд тему, которая не дает спать спокойно не только мне, но и многим моим коллегам. Помните тот трепетный момент, когда вы только начинали свой путь в Data Science? Я — очень хорошо. Картинка была радужной: ты — повелитель нейросетей, твои модели творят магию, а бизнес-задачи падают к ногам, поверженные точностью в 99.9% (ну или хотя бы 97%). Курсы, будь то знаменитые онлайн-платформы или университетские программы, учат нас прекрасному: бустинги, метрики, градиентный спуск, SVM, k-means, сверточные слои... Это наш фундамент, наш джентельменский набор. И да, именно за этим набором охотятся 90% рекрутеров на собеседованиях. Создается стойкое ощущение, что я и интервьюер одновременно загуглили «Топ-50 вопросов на DS собеседовании» и теперь ритуально их отрабатываем. Ну, must have, что уж тут. Но потом ты выходишь из уютного мира clean data и идеальных датасетов в дикие джунгли реального проекта. И здесь начинается магия настоящей работы. Та самая, про которую не снимают вдохновляющие ролики. А порой многие именно тут и бросают этот, казалось бы увлекательный и перспективный карьерный путь в мир ML... Читать и обсудить...<a href="https://habr.com/ru/articles/942558/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/942558/</a><a href="https://zhub.link/tags/%D0%BA%D1%83%D1%80%D1%81%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#курсы</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/machinelearning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machinelearning</a> <a href="https://zhub.link/tags/ml" class="mention hashtag" rel="nofollow noopener" target="_blank">#ml</a> <a href="https://zhub.link/tags/data_scientist_career" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_scientist_career</a> <a href="https://zhub.link/tags/data_scientist" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_scientist</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/%D1%81%D1%82%D0%B0%D0%B6%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#стажировка</a> <a href="https://zhub.link/tags/%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#классификация</a> <a href="https://zhub.link/tags/%D1%85%D0%B0%D0%BA%D0%B0%D1%82%D0%BE%D0%BD" class="mention hashtag" rel="nofollow noopener" target="_blank">#хакатон</a>

HabrБиблиотека OutboxML от Страхового Дома ВСКХабр, привет! Меня зовут Семён Семёнов, я руковожу Data Science и Machine Learning в Страховом Доме ВСК. В этой статье расскажу, как мы создали систему автоматического обучения и развёртывания моделей машинного обучения с открытым исходным кодом. Первый вопрос, который может задать себе читатель, знакомый с темой современного машинного обучения: «Почему бы не взять одну из десятков (если не сотен) открытых AutoML-библиотек?» Ответ прост: мы не стремились создать ещё один «стандартный» проект AutoML. Наша цель — сфокусироваться на вещах, которые редко встречаются в готовых решениях:<a href="https://habr.com/ru/companies/vsk_insurance/articles/942110/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/vsk_insurance/articles/942110/</a><a href="https://zhub.link/tags/automl" class="mention hashtag" rel="nofollow noopener" target="_blank">#automl</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_python" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение_python</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/mlops" class="mention hashtag" rel="nofollow noopener" target="_blank">#mlops</a> <a href="https://zhub.link/tags/mlflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#mlflow</a> <a href="https://zhub.link/tags/fastapi" class="mention hashtag" rel="nofollow noopener" target="_blank">#fastapi</a> <a href="https://zhub.link/tags/grafana" class="mention hashtag" rel="nofollow noopener" target="_blank">#grafana</a> <a href="https://zhub.link/tags/%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D1%8B%D0%B9_%D0%BA%D0%BE%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#открытый_код</a> <a href="https://zhub.link/tags/ml" class="mention hashtag" rel="nofollow noopener" target="_blank">#ml</a>

HabrПуть от школьной математики к Data Science и системной инженерии: как я учился строить продуктыИстории успеха часто подаются слишком гладко... Моя история о том, как спорт, фильмы и увлечение фантастикой неожиданно привели меня в Data Science и системную инженерию.<a href="https://habr.com/ru/articles/941902/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/941902/</a><a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#системная_инженерия</a> <a href="https://zhub.link/tags/%D0%B1%D0%B8%D0%B7%D0%BD%D0%B5%D1%81_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7" class="mention hashtag" rel="nofollow noopener" target="_blank">#бизнес_анализ</a> <a href="https://zhub.link/tags/%D0%BA%D0%B0%D1%80%D1%8C%D0%B5%D1%80%D0%B0_%D0%B2_it" class="mention hashtag" rel="nofollow noopener" target="_blank">#карьера_в_it</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai</a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#инженерия_данных</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data</a> <a href="https://zhub.link/tags/%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#автоматизация</a> <a href="https://zhub.link/tags/mlops" class="mention hashtag" rel="nofollow noopener" target="_blank">#mlops</a>

HabrSpark 4.0 на горизонте: Готовимся к апгрейду или остаёмся на проверенном 3.0?Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. Кажется, ещё вчера мы радовались возможностям Apache Spark 3.0 , разбирались с Adaptive Query Execution и наслаждались улучшениями Pandas API . Но мир больших данных не стоит на месте, и вот уже на подходе Apache Spark 4.0 . Новый мажорный релиз — это всегда событие: он обещает новые фичи, прирост производительности и, конечно же, новые вызовы при миграции. Apache Spark де-факто стал стандартом для распределённой обработки данных. От классических ETL-пайплайнов и SQL-аналитики до сложного машинного обучения и стриминга — Spark так или иначе задействован во многих современных data-платформах. Поэтому каждый новый релиз вызывает живой интерес у комьюнити: что там под капотом? Какие проблемы решены? Не сломается ли то, что работало годами?<a href="https://habr.com/ru/companies/arenadata/articles/921252/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/arenadata/articles/921252/</a><a href="https://zhub.link/tags/spark" class="mention hashtag" rel="nofollow noopener" target="_blank">#spark</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/bigdata" class="mention hashtag" rel="nofollow noopener" target="_blank">#bigdata</a> <a href="https://zhub.link/tags/sql" class="mention hashtag" rel="nofollow noopener" target="_blank">#sql</a> <a href="https://zhub.link/tags/lakehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#lakehouse</a> <a href="https://zhub.link/tags/datalake" class="mention hashtag" rel="nofollow noopener" target="_blank">#datalake</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#хранение_данных</a> <a href="https://zhub.link/tags/hadoop" class="mention hashtag" rel="nofollow noopener" target="_blank">#hadoop</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#производительность</a>

HabrМатематика и софтскилы: какие навыки нужны начинающему дата-сайентистуХабр, привет! Меня зовут Вячеслав Демин, я больше четырёх лет работаю в сфере Data Science. Сейчас руковожу направлением аналитики данных в Сбере и преподаю на курсе<a href="https://habr.com/ru/companies/yandex_praktikum/articles/934788/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/yandex_praktikum/articles/934788/</a><a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#анализ_данных</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитика_данных</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D1%82%D0%B0_%D1%81%D0%B0%D0%B9%D0%B5%D0%BD%D1%81" class="mention hashtag" rel="nofollow noopener" target="_blank">#дата_сайенс</a>

HabrНовые темы и фокус на практике: как изменился курс по Data Science в Яндекс ПрактикумеКурс<a href="https://habr.com/ru/companies/yandex_praktikum/articles/938956/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/yandex_praktikum/articles/938956/</a><a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D1%82%D0%B0_%D1%81%D0%B0%D0%B9%D0%B5%D0%BD%D1%81" class="mention hashtag" rel="nofollow noopener" target="_blank">#дата_сайенс</a> <a href="https://zhub.link/tags/data_scientist" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_scientist</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#анализ_данных</a>

HabrЛичный топ методов PandasPandas — это изумительная библиотека на Python для анализа и обработки данных. Она настолько хороша, что проще сказать, чего она не умеет , чем перечислить все её возможности. В мире аналитики это настоящий швейцарский нож . В этой статье я хочу поделиться личным топом методов, которые помогают в первичной обработке больших данных .<a href="https://habr.com/ru/articles/940028/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/940028/</a><a href="https://zhub.link/tags/pandas" class="mention hashtag" rel="nofollow noopener" target="_blank">#pandas</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/data_analyst" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analyst</a>

HabrShap-графики: как наглядно объяснить заказчику логику работы моделиВсем привет. Я Андрей Бояренков, лидер кластера бизнес-моделей стрима "Разработка моделей КИБ и СМБ" банка ВТБ. В этой статье расскажу о том, какие на мой взгляд типы графиков необходимо построить, чтобы наиболее оптимальным образом показать заказчику логику работы фичей в моделях.<a href="https://habr.com/ru/companies/vtb/articles/938988/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/vtb/articles/938988/</a><a href="https://zhub.link/tags/shap" class="mention hashtag" rel="nofollow noopener" target="_blank">#shap</a> <a href="https://zhub.link/tags/machine_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machine_learning</a> <a href="https://zhub.link/tags/catboost" class="mention hashtag" rel="nofollow noopener" target="_blank">#catboost</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#моделирование</a>

HabrSemantic Retrieval-Augmented Contrastive Learning (SRA-CL) для последовательных рекомендательных систем: обзор👋 Привет, Хабр! Меня зовут Никита Горячев, я Research Engineer в WB , последние несколько лет работаю на стыке RecSys, LLM и мультимодальных моделей . Каждый день мы обрабатываем миллиарды событий, а модели, которые мы внедряем, напрямую влияют на CTR, удержание и конверсию, принося немало дополнительной выручки. До этого я успел поработать в AI-стартапе в Palo Alto , где занимался голосовыми агентами (ASR/TTS), и в МТС , где мы строили AI-экосистему. Ранее в Сбере я занимался созданием единого RecSys SDK для всей экосистемы (от SberMegaMarket до Okko и Zvuk), а ещё раньше — развивал персонализацию и ML в ритейле и нейротехе. Сегодня я хотел бы поговорить о том, как большие языковые модели могут починить контрастивное обучение в рекомендательных системах. Контрастивные методы давно стали стандартом в NLP и CV, но в последовательных рекомендациях они работают далеко не идеально: данные разрежены, а аугментации часто искажают смысл вместо того, чтобы его сохранять. Авторы свежей статьи с arXiv — “Semantic Retrieval Augmented Contrastive Learning for Sequential Recommendation (SRA-CL)” — предлагают элегантное решение: использовать LLM для генерации семантически осмысленных позитивных пар . Звучит просто, но даёт заметный прирост качества — давайте разберёмся, как именно это работает.<a href="https://habr.com/ru/articles/938350/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/938350/</a><a href="https://zhub.link/tags/recsys" class="mention hashtag" rel="nofollow noopener" target="_blank">#recsys</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/machine_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machine_learning</a> <a href="https://zhub.link/tags/transformers" class="mention hashtag" rel="nofollow noopener" target="_blank">#transformers</a>

Habr 25+Koda: AI-помощник разработчика – бесплатно, без VPN, с поддержкой русского языкаИндустрия ИИ переживает рекордный бум: каждую неделю появляются новые модели, а заголовки пестрят новостями о многомиллионных контрактах и громких переходах звёздных исследователей. Прорывы происходят на всех уровнях: от чипов и инфраструктуры (NVIDIA и др.) до моделей и инструментов вроде Cursor или Windsurf. Но у российских разработчиков выбор заметно ýже: ограничения, VPN, трудности с оплатой. Мы решили это изменить и создали Koda — AI-помощника, который доступен бесплатно и без VPN, работает с современными моделями и привычными функциями: автодополнение кода, чат, поиск по документации и коду проекта, а также агентный режим!<a href="https://habr.com/ru/companies/koda/articles/936906/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/koda/articles/936906/</a><a href="https://zhub.link/tags/koda" class="mention hashtag" rel="nofollow noopener" target="_blank">#koda</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/AI" class="mention hashtag" rel="nofollow noopener" target="_blank">#AI</a> <a href="https://zhub.link/tags/copilot" class="mention hashtag" rel="nofollow noopener" target="_blank">#copilot</a> <a href="https://zhub.link/tags/AI%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#AIинструменты</a> <a href="https://zhub.link/tags/%D0%B2%D0%B0%D0%B9%D0%B1%D0%BA%D0%BE%D0%B4%D0%B8%D0%BD%D0%B3" class="mention hashtag" rel="nofollow noopener" target="_blank">#вайбкодинг</a> <a href="https://zhub.link/tags/%D0%B0%D0%B3%D0%B5%D0%BD%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#агент</a> <a href="https://zhub.link/tags/vibecoding" class="mention hashtag" rel="nofollow noopener" target="_blank">#vibecoding</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/machine_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machine_learning</a>

HabrKoda: AI-помощник разработчика – бесплатно, без VPN, с поддержкой русского языкаИндустрия ИИ переживает рекордный бум: каждую неделю появляются новые модели, а заголовки пестрят новостями о многомиллионных контрактах и громких переходах звёздных исследователей. Прорывы происходят на всех уровнях: от чипов и инфраструктуры (NVIDIA и др.) до моделей и инструментов вроде Cursor или Windsurf. Но у российских разработчиков выбор заметно ýже: ограничения, VPN, трудности с оплатой. Мы решили это изменить и создали<a href="https://habr.com/ru/companies/koda/articles/936906/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/koda/articles/936906/</a><a href="https://zhub.link/tags/koda" class="mention hashtag" rel="nofollow noopener" target="_blank">#koda</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/AI" class="mention hashtag" rel="nofollow noopener" target="_blank">#AI</a> <a href="https://zhub.link/tags/copilot" class="mention hashtag" rel="nofollow noopener" target="_blank">#copilot</a> <a href="https://zhub.link/tags/AI%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#AIинструменты</a> <a href="https://zhub.link/tags/%D0%B2%D0%B0%D0%B9%D0%B1%D0%BA%D0%BE%D0%B4%D0%B8%D0%BD%D0%B3" class="mention hashtag" rel="nofollow noopener" target="_blank">#вайбкодинг</a> <a href="https://zhub.link/tags/%D0%B0%D0%B3%D0%B5%D0%BD%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#агент</a> <a href="https://zhub.link/tags/vibecoding" class="mention hashtag" rel="nofollow noopener" target="_blank">#vibecoding</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/machine_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machine_learning</a>

HabrВебинары трека Наука о данных Летней цифровой школы СбераПривет, коллеги ML инженеры, Data scientist'ы и все, кто интересуется искусственным интеллектом, созданием нейросетей, машинным обучением и анализом данных! Принёс вам пачку вебинаров с интенсива трека Наука о данных курсов повышения квалификации Летней цифровой школы Сбера.<a href="https://habr.com/ru/articles/935564/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/935564/</a><a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8e" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучениe</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственный_интеллект</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai</a> <a href="https://zhub.link/tags/artificial_intelligence" class="mention hashtag" rel="nofollow noopener" target="_blank">#artificial_intelligence</a> <a href="https://zhub.link/tags/%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#ии</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#нейросети</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%B3%D0%BB%D1%83%D0%B1%D0%BE%D0%BA%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#глубокое_обучение</a>

HabrСтратегия успеха: ключи к развитию карьеры в Data Science (ч.2)Привет! Я Анна Ширшова, руководитель Кластера моделирования для CRM и оптимизации в ВТБ. Это вторая часть моего материала о карьерном росте в Data Science. В первой мы говорили о том, как правильно ставить карьерные цели, избегать типичных ошибок и добиваться высоких результатов. А в этой статье поговорим о важности самопрезентации и самосовершенствования.<a href="https://habr.com/ru/companies/vtb/articles/934752/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/vtb/articles/934752/</a><a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/machine_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machine_learning</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B7%D0%B2%D0%B8%D1%82%D0%B8%D0%B5_%D0%BA%D0%B0%D1%80%D1%8C%D0%B5%D1%80%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#развитие_карьеры</a> <a href="https://zhub.link/tags/%D1%83%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%B0%D0%BC%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#управление_командами</a>

HabrAutismSmartDetector: Система для определения черт аутистического спектраОригинал материала Проект "AutismSmartDetector" представляет собой инновационную систему на основе искусственного интеллекта, предназначенную для автоматического определения черт аутистического спектра по фотографиям лиц. Система использует свёрточную нейронную сеть (CNN), обученную на большом наборе данных, чтобы классифицировать изображения на две категории: "Autistic" и "Non-Autistic". Преимущества для различных отраслей Для врачей и медицинских учреждений Ранняя диагностика : Система позволяет врачам быстро и эффективно проводить предварительную оценку пациентов на наличие аутистических черт, что способствует ранней диагностике и своевременному началу лечения. Улучшение качества обслуживания : Автоматизация процесса диагностики позволяет врачам сосредоточиться на более сложных случаях и уделить больше времени пациентам. Повышение точности : Использование искусственного интеллекта снижает вероятность ошибок в диагностике, что повышает точность и надежность результатов. Для финансовых организаций Оценка рисков : Система может использоваться для оценки рисков при выдаче кредитов или страховых полисов, учитывая особенности поведения и состояния здоровья клиентов. Персонализация услуг : Финансовые организации могут предлагать персонализированные услуги и продукты, учитывая индивидуальные особенности клиентов. Для цифровых экосистем Улучшение пользовательского опыта : Система может быть интегрирована в платформы для улучшения пользовательского опыта, предлагая персонализированные рекомендации и услуги. Анализ поведения пользователей : Анализ черт аутистического спектра может помочь в понимании поведения пользователей и адаптации интерфейсов и сервисов под их потребности. Для соцсетей Безопасность и модерация : Система может использоваться для модерации контента и обеспечения безопасности пользователей, особенно тех, кто может быть уязвим из-за особенностей поведения. Персонализация контента : Социальные сети могут предлагать персонализированный контент и рекомендации, учитывая индивидуальные особенности пользователей. Для сервисов знакомств Персонализация рекомендаций : Система может помочь в подборе партнеров, учитывая индивидуальные особенности и потребности пользователей. Безопасность и защита : Сервисы знакомств могут использовать систему для защиты пользователей от мошенников и недобросовестных участников. Основные возможности Обучение модели : Обучение модели на основе данных, собранных из различных источников. Предсказание по одному изображению : Возможность загрузки и анализа одного изображения для определения наличия аутистических черт. Предсказание по множеству изображений : Анализ нескольких изображений одновременно. Предсказание по URL : Возможность анализа изображений, загруженных по URL.<a href="https://habr.com/ru/articles/934074/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/934074/</a><a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/pytorch" class="mention hashtag" rel="nofollow noopener" target="_blank">#pytorch</a> <a href="https://zhub.link/tags/%D0%BC%D0%B5%D0%B4%D0%B8%D1%86%D0%B8%D0%BD%D0%B0_%D0%B1%D1%83%D0%B4%D1%83%D1%89%D0%B5%D0%B3%D0%BE" class="mention hashtag" rel="nofollow noopener" target="_blank">#медицина_будущего</a> <a href="https://zhub.link/tags/%D0%BC%D0%B5%D0%B4%D0%B8%D1%86%D0%B8%D0%BD%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#медицина</a> <a href="https://zhub.link/tags/%D0%BF%D1%81%D0%B8%D1%85%D0%B8%D0%B0%D1%82%D1%80%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#психиатрия</a> <a href="https://zhub.link/tags/%D0%BF%D1%81%D0%B8%D1%85%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#психология</a> <a href="https://zhub.link/tags/%D0%BF%D0%B5%D0%B4%D0%B0%D0%B3%D0%BE%D0%B3%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#педагогика</a> <a href="https://zhub.link/tags/computer_vision" class="mention hashtag" rel="nofollow noopener" target="_blank">#computer_vision</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/bigdata" class="mention hashtag" rel="nofollow noopener" target="_blank">#bigdata</a>

Habr[Перевод] Я перешла из Data Science в AI Engineering: вот всё, что вам нужно знатьПереход из Data Science в AI Engineering — это не просто смена должности, а полный сдвиг в подходах к работе с моделями и их внедрению в продакшн. В статье я делюсь опытом, как расширение ролей Data Scientist и AI Engineer пересекается с DevOps, MLOps и инфраструктурными практиками. Если вам интересно, как сделать шаг от теории к реальной работе с моделями, интеграции в инфраструктуру и поддержке на протяжении жизненного цикла — читайте дальше.<a href="https://habr.com/ru/companies/otus/articles/932930/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/otus/articles/932930/</a><a href="https://zhub.link/tags/Data_Science" class="mention hashtag" rel="nofollow noopener" target="_blank">#Data_Science</a> <a href="https://zhub.link/tags/AI_Engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#AI_Engineering</a> <a href="https://zhub.link/tags/MLOps" class="mention hashtag" rel="nofollow noopener" target="_blank">#MLOps</a> <a href="https://zhub.link/tags/DevOps" class="mention hashtag" rel="nofollow noopener" target="_blank">#DevOps</a> <a href="https://zhub.link/tags/%D0%98%D0%BD%D1%84%D1%80%D0%B0%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%B0_%D0%BA%D0%B0%D0%BA_%D0%BA%D0%BE%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#Инфраструктура_как_код</a> <a href="https://zhub.link/tags/k8s" class="mention hashtag" rel="nofollow noopener" target="_blank">#k8s</a> <a href="https://zhub.link/tags/cicd" class="mention hashtag" rel="nofollow noopener" target="_blank">#cicd</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B7%D0%B2%D0%B5%D1%80%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#развертывание_моделей</a>

Recent searches

Search options

Administered by:

Server stats:

#data_science