#наука_о_данных

HabrФабрика данных 2030: от GAN-конвейеров до каузальных сетей — кто отвечает за рождение синтетической реальностиДесять лет назад мы говорили о «данных–нефть». В 2025-м метафора смещается: нефть закончилась, а нужен устойчивый источник энергии. Синтетические данные перестали быть лабораторным трюком — к 2030-му они превращаются в топливо, на котором летят банки, медицина и индустриальный IoT. GAN-ы научились соблюдать дифференциальную приватность, диффузионные модели вытягивают сигнал из шума лучше, чем биржевые трейдеры, а причинные графы заставляют базы данных «думать» о бизнес-логике. Мы собрали всё — от свежих метрик PrivEval до реляционной магии SCM и агентных симуляций, — чтобы показать: синтетика уже не копия реальности, а песочница для инноваций. Если вы ищете способ ускорить ML-проекты, избавиться от юридических цепей и заглянуть в будущее генеративного ИИ, эта статья станет вашим порталом.<a href="https://habr.com/ru/articles/930132/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/930132/</a><a href="https://zhub.link/tags/%D1%81%D0%B8%D0%BD%D1%82%D0%B5%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#синтетические_данные</a> <a href="https://zhub.link/tags/%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#генеративные_модели</a> <a href="https://zhub.link/tags/%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#диффузионные_модели</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D0%BD%D1%84%D0%B8%D0%B4%D0%B5%D0%BD%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#конфиденциальность</a> <a href="https://zhub.link/tags/%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#генерация_данных</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BD%D0%B0%D1%83%D0%BA%D0%B0_%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#наука_о_данных</a>

HabrБолее быстрые хеш-таблицы: претенденты на место SwissTable24 ноября 2021 года на сайте ArXiv.org была опубликована научная статья «Крошечные указатели» ( Tiny Pointers ) с описанием новой структуры данных — «крошечных» указателей, которые указывают путь к фрагменту хранимых данных и занимают меньше памяти, чем традиционные указатели. Осенью 2021 года эту статью заметил Андрей Крапивин (Andrew Krapivin), студент Ратгерского университета в Нью-Джерси, и не придал ей особого значения, пишет Quanta Magazine, журнал о последних достижениях в математике ( перевод статьи на Хабре). Только через два года он нашёл время, чтобы внимательно ознакомиться с материалом. И понял, насколько это прорывное изобретение, если применить его для оптимизации хеш-таблиц. Данная тема уже упоминалась на Хабре , но заслуживает более подробного обсуждения.<a href="https://habr.com/ru/companies/ruvds/articles/887726/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/ruvds/articles/887726/</a><a href="https://zhub.link/tags/ruvds_%D1%81%D1%82%D0%B0%D1%82%D1%8C%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#ruvds_статьи</a> <a href="https://zhub.link/tags/%D1%85%D0%B5%D1%88%D1%82%D0%B0%D0%B1%D0%BB%D0%B8%D1%86%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#хештаблицы</a> <a href="https://zhub.link/tags/%D0%BD%D0%B0%D1%83%D0%BA%D0%B0_%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#наука_о_данных</a> <a href="https://zhub.link/tags/%D0%BA%D1%80%D0%BE%D1%88%D0%B5%D1%87%D0%BD%D1%8B%D0%B5_%D1%83%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#крошечные_указатели</a> <a href="https://zhub.link/tags/%D0%B0%D1%81%D1%81%D0%BE%D1%86%D0%B8%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B9_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2" class="mention hashtag" rel="nofollow noopener" target="_blank">#ассоциативный_массив</a> <a href="https://zhub.link/tags/%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#структура_данных</a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%B8%D1%81%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#поиск</a> <a href="https://zhub.link/tags/%D0%B2%D1%81%D1%82%D0%B0%D0%B2%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#вставка</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%81%D0%BA%D0%BE%D1%80%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#предельная_скорость</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B2%D0%BD%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%BE%D0%B5_%D0%B7%D0%BE%D0%BD%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#равномерное_зондирование</a> <a href="https://zhub.link/tags/uniform_probing" class="mention hashtag" rel="nofollow noopener" target="_blank">#uniform_probing</a> <a href="https://zhub.link/tags/%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%BE%D0%B5_%D0%B7%D0%BE%D0%BD%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#линейное_зондирование</a> <a href="https://zhub.link/tags/%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE_%D1%81_%D0%BF%D0%BE%D0%B2%D0%BE%D1%80%D0%BE%D1%82%D0%BE%D0%BC" class="mention hashtag" rel="nofollow noopener" target="_blank">#дерево_с_поворотом</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D1%88%D0%B8%D1%80%D1%8F%D1%8E%D1%89%D0%B5%D0%B5%D1%81%D1%8F_%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE" class="mention hashtag" rel="nofollow noopener" target="_blank">#расширяющееся_дерево</a> <a href="https://zhub.link/tags/%D0%BA%D1%80%D0%B0%D1%81%D0%BD%D0%BE%D1%87%D1%91%D1%80%D0%BD%D0%BE%D0%B5_%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE" class="mention hashtag" rel="nofollow noopener" target="_blank">#красночёрное_дерево</a> <a href="https://zhub.link/tags/Koloboke" class="mention hashtag" rel="nofollow noopener" target="_blank">#Koloboke</a> <a href="https://zhub.link/tags/SmoothieMap" class="mention hashtag" rel="nofollow noopener" target="_blank">#SmoothieMap</a> <a href="https://zhub.link/tags/ChronicleMap" class="mention hashtag" rel="nofollow noopener" target="_blank">#ChronicleMap</a> <a href="https://zhub.link/tags/SwissTable" class="mention hashtag" rel="nofollow noopener" target="_blank">#SwissTable</a> <a href="https://zhub.link/tags/F14" class="mention hashtag" rel="nofollow noopener" target="_blank">#F14</a> <a href="https://zhub.link/tags/SIMD" class="mention hashtag" rel="nofollow noopener" target="_blank">#SIMD</a>

HabrИгра в имитацию: используем Python для генерации синтетических данных для ML и не толькоРучной сбор данных — это всегда боль. Он съедает время, деньги и нервы, особенно в таких областях, как медицина или финансы, где затраты могут быть космическими, а юридические барьеры — непреодолимыми. По прогнозу Gartner, к 2030 году синтетические данные полностью затмят реальные данные в моделях ИИ.Почему? Потому что это работает. Что такое синтетические данные? Это искусственно созданные наборы данных, которые имитируют реальные данные, но не основаны на реальных событиях или людях. Они генерируются с помощью алгоритмов и математических моделей, которые воспроизводят статистические свойства, паттерны и взаимосвязи, присущие реальным данным. По сути, это цифровые двойники реальности, где мы можем контролировать каждый параметр: от распределений до корреляций и аномалий.<a href="https://habr.com/ru/articles/888830/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/888830/</a><a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/machine_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machine_learning</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#данные</a> <a href="https://zhub.link/tags/%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#генерация_данных</a> <a href="https://zhub.link/tags/%D1%81%D0%B8%D0%BD%D1%82%D0%B5%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#синтетические_данные</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/%D0%BD%D0%B0%D1%83%D0%BA%D0%B0_%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#наука_о_данных</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#программирование</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#нейронные_сети</a>

HabrОголяем «данные» и что из этого вышлоОднажды я задался целью создать устройство, которое измеряло бы качество воздуха — не просто как-то, а с высокой точностью. Проект по разработке устройства привел к созданию NeboAir — недорогого датчика, который претендует на высокую точность. В этом материале я расскажу об испытаниях в реальных условиях и о том, что получилось в итоге.<a href="https://habr.com/ru/articles/848320/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/848320/</a><a href="https://zhub.link/tags/%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D1%8B%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#открытые_данные</a> <a href="https://zhub.link/tags/%D1%81%D1%82%D0%B0%D1%80%D1%82%D0%B0%D0%BF" class="mention hashtag" rel="nofollow noopener" target="_blank">#стартап</a> <a href="https://zhub.link/tags/%D1%8D%D0%BA%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#экология</a> <a href="https://zhub.link/tags/%D0%B2%D0%B8%D0%B7%D1%83%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#визуализация_данных</a> <a href="https://zhub.link/tags/%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#графики</a> <a href="https://zhub.link/tags/%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D0%BA%D0%B8_%D0%B8_%D0%B4%D0%B8%D0%B0%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#графики_и_диаграммы</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#исследование</a> <a href="https://zhub.link/tags/%D0%BD%D0%B0%D1%83%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#наука</a> <a href="https://zhub.link/tags/%D0%BD%D0%B0%D1%83%D0%BA%D0%B0_%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#наука_о_данных</a> <a href="https://zhub.link/tags/%D0%BD%D0%B0%D1%83%D0%BA%D0%B0_%D0%B8_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#наука_и_технологии</a>

HabrПростыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy, Precision, Recall, F-score, ROC-AUCПривет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников , и я расскажу про метрики классификации! Само собой, в интернете очень много материала про эти метрики, но я попробую описать их максимально простым языком с простыми примерами. Зачем вообще нужны метрики в моделях ИИ? Чаще всего их используют, чтобы сравнивать модели между собой, абстрагируясь от бизнес метрик. Если вы будете смотреть только на бизнес-метрики (например, NPS клиентов или выручка), то можете упустить из-за чего реально произошло снижение или повышение показателей вашего бизнеса. Например, вы сделали новую версию модели лучше предыдущей (метрики модели лучше), но в то же самое время пришёл экономический кризис и люди перестали покупать ваш продукт (упала выручка). Если бы в этой ситуации вы не замеряли показатели модели, то могли бы подумать, что из-за новой версии модели упала выручка, хотя упала она не из-за модели. Пример довольно простой, но хорошо описывает почему нужно разделять метрики модели и бизнеса. Для начала надо сказать, что метрики моделей бывают двух типов в зависимости от решаемой задачи: 1. Классификации - это когда вы предсказываете к чему именно относится то или иное наблюдение. Например, перед вами картинка и вы должны понять, что на ней, а ответа может быть три: это либо собачка, либо кошечка, либо мышка. К одному из под-методов классификации относится бинарная классификация: либо единичка, либо нолик. То есть мы предсказываем либо перед нами кошечка, либо это не кошечка.<a href="https://habr.com/ru/articles/820411/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/820411/</a><a href="https://zhub.link/tags/%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#Классификация</a> <a href="https://zhub.link/tags/Confusion_matrix" class="mention hashtag" rel="nofollow noopener" target="_blank">#Confusion_matrix</a> <a href="https://zhub.link/tags/Accuracy" class="mention hashtag" rel="nofollow noopener" target="_blank">#Accuracy</a> <a href="https://zhub.link/tags/Precision" class="mention hashtag" rel="nofollow noopener" target="_blank">#Precision</a> <a href="https://zhub.link/tags/Recall" class="mention hashtag" rel="nofollow noopener" target="_blank">#Recall</a> <a href="https://zhub.link/tags/Fscore" class="mention hashtag" rel="nofollow noopener" target="_blank">#Fscore</a> <a href="https://zhub.link/tags/ROCAUC" class="mention hashtag" rel="nofollow noopener" target="_blank">#ROCAUC</a> <a href="https://zhub.link/tags/%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#метрики</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D0%BD%D0%B0%D1%83%D0%BA%D0%B0_%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#наука_о_данных</a>

HabrМой краш-тест чемпионата: Победа в Data Science трекеПривет! В статье я расскажу о моем опыте победы в чемпионате "CUP IT 2023" от Changellenge в области Data Science. Соревнование построено на кейс-подходе, где участники решают реальные бизнес-вызовы, с которыми сталкиваются сотрудники компаний VK и Альфа-Банка. Я успешно справилась с задачами обеих компаний. В статье вы найдете подробности об особенностях соревнования, ключевых инсайтах, решениях, а также о том, как этот опыт изменил мою карьеру и подарил новые возможности.<a href="https://habr.com/ru/articles/784522/" rel="nofollow noopener" target="_blank">https://habr.com/ru/articles/784522/</a><a href="https://zhub.link/tags/%D1%85%D0%B0%D0%BA%D0%B0%D1%82%D0%BE%D0%BD%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#хакатоны</a> <a href="https://zhub.link/tags/%D0%BA%D0%B0%D1%80%D1%8C%D0%B5%D1%80%D0%B0_%D0%B2_it%D0%B8%D0%BD%D0%B4%D1%83%D1%81%D1%82%D1%80%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#карьера_в_itиндустрии</a> <a href="https://zhub.link/tags/%D0%BC%D0%B5%D0%BD%D0%B5%D0%B4%D0%B6%D0%BC%D0%B5%D0%BD%D1%82_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener" target="_blank">#менеджмент_проектов</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/%D0%BC%D1%8B%D1%88%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#мышление</a> <a href="https://zhub.link/tags/%D0%BD%D0%B0%D1%83%D0%BA%D0%B0_%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#наука_о_данных</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a>

Recent searches

Search options

Administered by:

Server stats:

#наука_о_данных