Алгоритмы поиска аномалий HBOS и ECOD

Специалистам по машинному обучению часто приходится заниматься поиском аномалий в данных, однако в русскоязычном интернете этой задаче посвящено очень мало материалов. В частности, нет хороших разборов различных алгоритмов поиска аномалий, где были бы описаны их плюсы и минусы. В этой статье частично исправим этот недочет и разберем алгоритмы HBOS и ECOD , а также обсудим особенности их реализации в популярной библиотеке PyOD.

https://habr.com/ru/companies/garda/articles/895148/

Как мы обучили модель прогноза ранней просрочки: логистическая регрессия vs градиентный бустинг

Всем привет! На связи дата-сайентисты стрима разработки моделей для корпоративного сегмента ВТБ — Андрей Бояренков, Иван Кондраков и Денис Дурасов. Как уже писали ранее в другой статье , внедрение процесса AutoML позволило нам во многом автоматизировать рутину и разработки, и применения моделей. Соответственно, у нас появилось больше времени для RnD-задач, которые могли бы быть полезны нашим заказчикам, чтобы охватить моделями новые процессы, а также провести исследования новых алгоритмов. Поэтому мы составили мэппинг возможных моделей на элементы работы Банка с клиентами малого и среднего бизнеса в части предотвращения просрочек по кредитной задолженности, а также по взысканию задолженности. Из данной схемы стало понятно, что есть необходимость разработать модели для процессов по мониторингу заёмщиков Банка — Precollection-модели. Под катом расскажем, как мы их разрабатывали и каких результатов удалось с ними добиться.

https://habr.com/ru/companies/vtb/articles/892056/

Дедупликация объявлений: как мы боремся с одинаковыми размещениями

Привет! Меня зовут Кирилл Сергеев, я ML-инженер в Циане. В этой статье я расскажу, как мы решили задачу дедупликации объявлений о недвижимости, разработав систему на основе трёх моделей. Эта система автоматически находит и объединяет дублирующиеся объявления, помогая пользователям видеть только актуальную и уникальную информацию. Материал будет полезен ML-инженерам и специалистам по обработке данных, которым интересно, как мы подошли к решению этой задачи: какие методы использовали, какие проблемы возникли и как мы их преодолели.

https://habr.com/ru/companies/cian/articles/892650/

Как я создал roguelike Run Eternal Depths: технические аспекты и простая генерация подземелий

Привет, Хабр! Меня зовут Артём, и я 3D-моделлер, который много лет работает в 3ds Max . Недавно я решил освоить Unreal Engine через создание пет-проектов, и результатом стала игра Run Eternal Depths — roguelike с процедурной генерацией подземелий, которая уже доступна для добавления в вишлист в Steam. Релиз запланирован на 21 марта , и в этой статье я расскажу о технических аспектах разработки, включая мою реализацию генерации подземелий. 1. Идея и начало разработки Изначально Run Eternal Depths задумывалась как тестовый проект для экспериментов с процедурной генерацией подземелий. Мне нужно было реализовать эту механику для другого проекта, но я решил сделать это в чистом проекте, чтобы не рисковать основным. Со временем идея переросла в полноценный roguelike с упором на исследование подземелий. 2. Технические аспекты разработки Движок и инструменты

https://habr.com/ru/companies/miip/articles/891054/

[Перевод] Быстрая свёртка множеств (алгоритм)

Свертка подмножеств, это математический аппарат, который позволяет ускорить алгоритмы на множествах и быстро считать функции на подмножествах. Статья будет интересна тем, кто интересуется нетривиальными, но красивыми алгоритмами!

https://habr.com/ru/articles/891188/

Квантовый компьютер Willow и многомировая интерпретация

Эффект квантового превосходства остаётся самым очевидным и при этом труднообъяснимым преимуществом квантовых компьютеров над классическими. Квантовое превосходство наступает в момент, когда квантовый компьютер оказывается в состоянии выполнить вычисление, недоступное классическому компьютеру. Впервые квантовое превосходство было достигнуто в октябре 2019 года на компьютере Google Sycamore, для вычислений на котором используются 53 кубита. Этот эксперимент был подробно описан уважаемым Тимуром Кешелавой в статье « Квантовое превосходство », вышедшей по горячим следам эксперимента. Сегодня реальность квантового превосходства уже не вызывает сомнений, и учёные пытаются определить, чем можно объяснить этот эффект. Уважаемый @dionisdimetor ещё в 2023 году написал на Хабре подробную статью « Квантовый компьютер: его превосходство, несходство и недосходство в сравнении с классическим », и в этой статье упомянул одну экзотическую идею. По мнению ряда учёных, среди которых особенно заметен Дэвид Дойч, квантовый компьютер экспериментально свидетельствует в пользу многомировой интерпретации квантовой механики, предложенной Хью Эвереттом. Ранее на Хабре уважаемый @SLY_G публиковал на сайте перевод статьи « Многомировая интерпретация и мультивселенная — могут ли они оказаться одной и той же идеей » под авторством знаменитого физика Шона Кэрролла (род. 1966). Если вас интересует подробный разбор многомировой интерпретации с точки зрения квантовой и классической физики, рекомендую прочитать увлекательную книгу Шона Кэрролла « Квантовые миры », которую я в своё время перевёл на русский язык для издательства «Питер». Ниже попробуем разобрать, как с такой интерпретацией согласуется квантовое превосходство.

https://habr.com/ru/articles/891138/

$440 000 000 на ветер за 45 минут: технические проблемы в алготрейдинге и как их [не?] предотвращают

Не так давно мы рассказывали о роли человеческого фактора в катастрофах на фондовом рынке: от fat-finger error и других ошибок ввода до перформансов, которые пьяные брокеры могут устраивать с деньгами клиентов. Однако сошедшие с ума алгоритмы биржевых ботов и не вовремя упавшие серверы могут доставить еще больше проблем. Из недавних случаев можно вспомнить сбой 3 июня 2024 года, который парализовал Нью-Йоркскую фондовую биржу (NYSE) почти на четыре часа, а акции Berkshire Hathaway, одной из компаний Баффетта, чуть не вылетели в трубу . Подобные инциденты случаются и в России: так, в ноябре все того же 2024 года Московская биржа на несколько часов задержала начало торгов из-за аппаратной ошибки в работе торгово-клиринговой системы. В этой статье мы попробуем разобраться, почему биржевые алгоритмы иногда слетают с катушек.

https://habr.com/ru/companies/finam_broker/articles/890142/

Доставка день в день: погружение в базовые алгоритмы поиска и назначения курьеров в Яндекс Доставке

Всем привет! Меня зовут Сергей Хорошеньких, я руковожу службой исследований и разработки в Яндекс Доставке. Наша команда изучает и внедряет алгоритмы, которые повышают операционную эффективность сервиса. Изначально Яндекс Доставка была тарифом внутри Яндекс Такси. Но спрос был таким большим, что довольно быстро стало ясно: надо развивать доставку как отдельный продукт, покрывающий множество пользовательских сценариев. И с 2019 года Яндекс Доставка стала самостоятельным сервисом. Доставка день в день — это не только сценарий «сходи за меня в магазин», но и возможность передать посылку с помощью сервиса. Эти сценарии объединяет то, что они происходят в рамках одного города. Про этот вид доставки мы и поговорим: я расскажу, что уже изобретено для этого сценария, а чего нам не хватало и какие задачи предстояло решить с помощью алгоритмов доставки.

https://habr.com/ru/companies/yandex/articles/887484/

#WebP #котики #котэ #алгоритмы #сжатие #ФорматыФайлов #тест

WebP

Для тех, кому пока непонятно, зачем нужен этот ваш WebP. Типичный пример типичного скриншота: текст+картинка+много однородного фона.

• PNG → 1,47 Мб
• WebP → 128 Кб (lossy)
• JPEG → 187 Кб

По второй картинке можно оценить, насколько мало артефактов привносит WebP при большем, чем у JPEG, сжатии (и более чем в 10 раз относительно PNG!).

Вторая картинка, есличо, занимает 97 килобайт в WebP lossless, при 207 и 205 в PNG / JPEG

Кроме размера (бе-е-е-е, интернеты быстрые, зачем экономить килоба-а-а-йт) большой плюс формата — поддержка прозрачности при обоих вариантах сжатия (с потерями и без). И даже анимация есть.

Поддержка реализована во всех браузерах старше 2020 года, просмотрщики и редакторы тоже умеют искаропки, ну или надо плагин/либу поставить. Даже Paint в #Windows10 — могёт

А еще он попенсорцный и одобрен котиками

О формальном доказательстве безопасной работы с памятью на основе «владения и заимствования»

Некоторое время назад я попробовал найти формальное доказательство безопасной работы с памятью, которое реализовано в Rust, но так и не смог его найти. После чего у меня сложилось впечатление, что доказательство в формальном виде и вовсе отсутствует, а вся концепция безопасного управления памятью на основе "владения и заимствования" формально не доказана и держится только на честном слове. Я не являюсь специалистом по Rust, но после просьбы помочь разобраться этим вопросом, был переадресован искать эту очевидную информацию самостоятельно, так как "джентльменам верят на слово". Тогда как косвенным подтверждением моего предположения об отсутствии формального доказательства в общем виде, является тот факт, что отсутствует и полный список разрешающих и/или запрещающих проверок, которые реализованы в самом компиляторе языка. Я хочу рассказать про изыскания о формальном доказательстве безопасной работы с памятью на основе владения и заимствования (не зависимо от языка программирования или реализации компилятора), которое основано на собственных данных и рассуждениях.

https://habr.com/ru/articles/889016/

Эпилог. Создание ботов для торговли криптовалютами и акциями (часть третья, заключительная)

Предыдущий пост: https://habr.com/ru/articles/677290/ Ильф и Петров оживили Остапа, и по их примеру, оказавшись в определенной точке своей жизни, я решил написать продолжение своих заметок. Спойлер для тех кому лень читать дальше - у меня нет яхты, я ищу работу на заводе, и если повезет, то это будет завод по выращиванию медицинского каннабиса. В этой статье не будет технических решений или алгоритмов, я хочу рассказать о своем опыте, который приобрел с момента опубликования предыдущего текста и перемещения меня в другую жизнь.

https://habr.com/ru/articles/888320/

[Перевод] Каталитические вычисления используют заполненный жёсткий диск на полную мощность

«Очевидно» — опасное слово, даже в сценариях, которые кажутся простыми. Предположим, например, что вам нужно произвести важные вычисления. Вы выбираете между двумя почти одинаковыми компьютерами, за исключением того, что в одном из них есть дополнительный жёсткий диск, заполненный драгоценными семейными фотографиями. Естественно предположить, что эти два варианта одинаково хороши — дополнительный диск, на котором не осталось места, не поможет вам в вычислениях. «Очевидно, что это не поможет, верно?» — говорит Бруно Лофф , специалист по информатике из Лиссабонского университета. Ошибаетесь. В 2014 году Лофф и четверо других исследователей обнаружили, что добавление заполненного накопителя в принципе может сделать компьютер более мощными. Их теоретическая схема, названная каталитическими вычислениями , стала самостоятельным объектом для изучения. А недавно она помогла исследователям доказать поразительный результат (открыть новую вкладку) в смежной области компьютерной науки: Стандартный подход к решению главного открытого вопроса о роли памяти в вычислениях, скорее всего, зашёл в тупик.

https://habr.com/ru/articles/887950/

Как пройти алгоритмическое собеседование: полный гид по алгоритмам, сложностям и стратегиям

Не тратьте время на задачи – сначала разберитесь в основах. В статье: 1. Как проходят собеседования (ВАЖНО!) 2. Big O, оценка сложности алгоритмов 3. Популярные техники: два указателя, DFS, динамическое программирование и другие 4. Какие задачи решать, чтобы пройти в Яндекс Читаем, практикуемся, получаем оффер!

https://habr.com/ru/articles/883030/

Структуры данных для подготовки к собеседованиям по алгоритмам

Хочешь пройти собеседование в Яндекс? Без этих структур данных не обойтись! Разбираем ключевые структуры данных , которые спрашивают на интервью. Только практичные знания , никакой воды! Как работают деревья, графы, хеш-таблицы и очереди? В каких случаях лучше использовать кучу, а когда связный список ? Готов ли ты к техническому интервью? Проверь себя!

https://habr.com/ru/articles/879914/

Алгоритмы манипуляций с битами

в статье приведены алгоритмы обработки коротких битовых строк, обычно вмещающихся в машинное слово, в большей степени эти алгоритмы предназначены для обработки строк длины 32 или 64, но многие из них можно применять для SIMD инструкций или даже GPU.

https://habr.com/ru/articles/886182/

Решение головоломки Fillwords на Python

Игра Fillwords популярна благодаря своей простоте и увлекательности: она развивает словарный запас, тренирует внимательность и логику. Миллионы игроков по всему миру используют её как способ расслабиться и одновременно размять мозг, а сложные уровни делают процесс поиска слов настоящим вызовом. Играя в Fillwords , я заметил, что сложные уровни требуют всё больше времени. Это натолкнуло меня на идею создать программу-помощник на Python. Я считаю, что это решение будет полезным упражнением как для начинающих программистов, так и для игроков, которым сложно находить подходящие слова.

https://habr.com/ru/articles/885008/

Задача о рюкзаке. Простое решение, но где-то должен быть подвох

Продолжаю свой крестовый поход по NP-полным задачам. От судоку и латинских квадратов немного устал, потому давеча решил переключиться на что-то другое. Выбор пал на задачу о рюкзаке

https://habr.com/ru/articles/884708/

Судоку: моя попытка в новый алгоритм решения. Часть 2. Заполнение латинского квадрата

Итак, это продолжение моих попыток в новый алгоритм решения Судоку. Начало было тут , на текущий мой взгляд довольно глупое и неудачное. Как известно, задача заполнения Судоку имеет большого родственника в виде задачи заполнения латинского квадрата. Если мы имеем некий латинский квадрат с аналогичным размером и наполнением, что и поле Судоку - то во множестве его наполнений будет и решение этого Судоку. Для тех, кто немного "не в теме":

https://habr.com/ru/articles/883922/

Фильтр Гаусса на стероидах: подход на точность вычислений

Hello, world! Это вторая часть хабростатьи Smart Engines про быструю фильтрацию изображений. Да-да, создавая топовый продукт по распознаванию документов , нам приходится разбираться в методах обработки изображений на экспертном уровне (иначе не получилось бы распознать изображение паспорта за 150 мс на мобильном телефон). В предыдущей части мы начали обсуждать быстрые аппроксимации гауссовского фильтра, которым была посвящена наша недавняя публикация в научном журнале MDPI Applied Sciences [1]. О том, как работает оригинальный фильтр Гаусса, мы уже писали, сейчас мы только напомним о его использовании всюду, где возникает обработка изображений: от редактирования фотографий на смартфоне – для размытия фона за объектом в режиме "портрет", до анализа рентгеновских снимков – чтобы убрать шум и улучшить читаемость изображения.

https://habr.com/ru/companies/smartengines/articles/883340/

Параллельные сортировки больших массивов объектов и пути уменьшения асимптотической сложности лучших алгоритмов

Резюме. Мы обсуждаем здесь наилучшие способы оптимизации сортировки сверх-больших массивов составных объектов по нечисловым ключам. Также рассматривается способ уменьшения количества выполняемых операций (сложность) имеющихся алгоритмов сортировки. Конкретный базовый алгоритм сортировки выбирается разработчиком по своему усмотрению (см. условие 1 в замечаниях). Введение: Проблематикой имплементации паралелльной сортировки занимаются разные специалисты по всему миру. Подавляющее число специалистов рассматривает платформы GPU и их суперскалярность как эффективную (в вычислительном плане) базу для разработки новых алгоритмов. На Хабре исследованиями в этой области занимались [ KS1 ], [ KILY1 ], [ PatZ1 ], [ Ms1 ]. Стоит отметить несколько минусов выбранного авторами похода:

https://habr.com/ru/articles/882802/