Mackedonsky

Всем привет! Для всех, кто сталкивался с мониторингом или любым подсчетом большого количества данных, сталкивался с таким понятием как "среднее значение".

Но истинно ли оно?

Давайте разберем, что есть avg и percentile.

Avg - среднее арифметическое нескольких чисел, сумма этих чисел, которую разделили на количество слагаемых.

Процентиль(он же квантиль) - это определённая часть выборки данных. Чаще всего используют 50, 75, 90, 99 процентили.

Если со средним значением все понятно, то процентиль проще пояснить на примере. Допустим, у нас есть 10 баз данных, на которые стабильно поступают SQL запросы. Мы знаем, что в среднем наша норма ответа на один тяжеловесный запрос около 1000ms в одной БД. Но одна из БД сегодня под повышенной нагрузкой, и не справляется с нагрузкой.

Возьмем значение для последней БД 19000ms. Если считать среднее значение, то выйдет такая картина:

(9000 + 19000) \ 10 = 2 800 ms время выполнения запроса для каждой БД. Что это значит? Имея такую картину, мы первым делом осознаем, что остальные 9 серверов должны были превысить допустимый лимит в условных 1500ms. Но если проверить вручную, то выяснится, что остальные 9 БД обрабатывают тяжеловесный запрос все так же 1000ms.

Возьмем для подсчета 50-й и 99-й процентиль.

Для его подсчета нам потребуется набор входящих данных.

1121; 983; 1200; 891; 1068; 1042; 1000; 1010; 999; 19000;

Считается он по этой формуле:

Где P-й процентиль списка из N упорядоченных по величине чисел (от меньших к большим) является наименьшее в списке число, которое больше, чем N процентов всех чисел исследуемого ряда. Например, для приведенного выше примера с временем выполнения запроса, 99-й процентиль означает время выполнения, которое больше, чем время выполнения 99% других БД.

50-й процентиль будет равен 1 026, это будет являться истинным средним значением для большинства серверов. Но откидывать из мониторинга последний сервер так же нельзя. Для этого мы считаем 99-й процентиль. Он будет равен 17 398.

Конечно вручную вам считать не придется, так как это умеют делать и системы мониторинга и прочие инструменты.

Когда мы посчитали процентили, мы можем их визуализировать на графиках, на которых сразу будет понятно, в каком случае проблемы имеют масштабный характер или же единичный.

Для визуализации своих метрик я использую grafana. Выглядеть это будет вот так:

(график просто для примера, он не является визуализацией моих подсчетов)

Краткая мораль avg - зло(в большинстве случаев), процентиль - добро. Всем спасибо за внимание.

P.S. для подсчета процентилей использовался онлайн калькулятор.

Вы создаете оповещение о том, что пост снял пост с премодерации, но не создаете оповещения о том, что он его ДОБАВИЛ в мое сообщество и попал в премодерацию.

Получается пост создали в 08:33, он провисел на премодерации полтора часа и я узнал про это лишь тогда, когда ТС-у надоело ждать, пока я зайду на сайт и увижу это.

Господа разработчики, я вот может чего то в этом мире не понимаю, или я просто тупой, но где, блять, в этом логика?

@dev, @SupportTech, это уже просто накипело. У меня только за 3 дня 4 таких поста ушло с премодерации. Я же не могу мониторить 24\7 пикабу в ожидании нового поста на премодерацию

Господа @demmix и @Alexx313, вы в телеке

#comment_199225331

Я вообще не понял, где, кто и когда объявил DuckDuckGo поисковиком, который позиционировал себя абсолютно независимым относительно политических ситуаций в мире.

Давайте раскроем эту тему детально.

Чем DuckDuckGo отличается от Google и Яндекс

Основная задача DuckDuckGo заключается не в фиктивном, а в реальном обезличивании пользовательской информации. Поисковые системы отслеживают личную информацию пользователей и передают её затем рекламным компаниям (как минимум), хотя, как утверждают представители Google и Яндекс, они делают это в «обезличенном» виде, то есть без привязки к конкретному аккаунту и человеку. Тем не менее, вряд ли кто-то может помешать поисковикам персонифицировать такую информацию по запросу, и в результате не только рекламные сервисы, но и правоохранительные органы будут знать о вас всё: какие сайты вы посещаете, где регистрируетесь, с кем и как общаетесь. А уж о том, как эта информация порой используется в России, знают не только продвинутые юзеры, но и многие из тех, кто не слишком посвящён в детали работы поисковиков.

Как DuckDuckGo помогает сохранять конфиденциальность в сети

DuckDuckGo широко поддерживает ПО для обеспечения конфиденциальности. Например, поисковик полностью совместим с браузером Tor и даже встроен в него в качестве поисковой системы по умолчанию (Firefox и Chrome с некоторых пор также позволяют сделать DuckDuckGo основным поисковиком у себя). А в прошлом году DuckDuckGo выделил 600 тысяч долларов на борьбу за права пользователей всемирной паутины, и значительная часть этих денег досталась как раз разработчикам браузера «Tor».

Плевать DuckDuckGo и на национальные ограничения: поисковик не блокирует ссылки на сомнительные с точки зрения законодательства той или иной страны ресурсы, поэтому вы можете быть уверены в том, что найдёте нужную информацию. Удобно? Безусловно. Тем более что заблокированные сайты нередко страдают совершенно незаслуженно (вспомним хотя бы несколько лет боровшийся за правду и официальное признание RuTracker).

Утром 5 марта 2020 года DuckDuckGo огорошил интернет-аудиторию публикацией сразу тысячи веб-трекеров, следящими за пользователями без их согласия. Явным лидером по шпионским трекерам в интернете оказался Google: щупальца этого поискового гиганта были замечены на 85% проанализированных сайтов. Со значительным отставанием второе место в этом сомнительном рейтинге занимает детище Марка Цукерберга, Facebook, трекеры которого были замечены на 36% сайтов. Цукерберг же на прошедшей в феврале 2020 года в Мюнхене конференции по безопасности, заявил, что нужно создать меры, «которые позволяли бы вмешиваться, чтобы убирать контент, который является опасным», то есть, по его словам, получается, что трекеры и вовсе заботятся о пользователе, подсовывая ему исключительно безопасный контент. Замыкает же шпионскую тройку Adobe, один из крупнейших разработчиков ПО, с 22%.

Что же делают эти трекеры? Они знают о вас всё: пол, возраст, место проживания, тип вашего компьютера или мобильного устройства. И даже ваше имя для ряда из них не загадка. Взамен вы получаете конфетку в виде «персонализированных результатов поиска» для вашего виртуального аккаунта. Однако зачем нужны аккаунты и персонализированные результаты поиска, если поисковая система способна справляться с вашими запросами и без этого? Правильно: они нужны для того, чтобы вас было легче отследить, а польза от них сомнительная, не говоря уже о том, что многих просто раздражает ворох дополнительной (чаще всего рекламной) информации, предлагаемой трекерами по вашим запросам.

Итак, хотите ли вы предоставлять подробные сведения о себе интернет-компаниям, которые затем продадут их любому заинтересованному лицу? Мы тоже не хотим, поэтому уже давно выбрали DuckDuckGo. И мы не одиноки: на «утиной стороне » и многие известные пионеры интернета. Так, в своей любви к DuckDuckGo недавно признался создатель Twitter Джек Дорси.

DuckDuckGo помогает защититься от шпионских трекеров с помощью установки бесплатных приложений и расширений для браузеров. Эти расширения блокируют действие вредоносных скриптов, перекрывая кислород Google, Facebook и другим безнравственным интернет-воротилам и делая пребывание на сайтах действительно безопасным.

Что говорят в wiki?

DuckDuckGo (сокр. DDG) — поисковая система, придающая особое значение обеспечиванию конфиденциальности пользователей и отказу от «пузыря фильтров» персонализированных результатов поиска[4]. DuckDuckGo также уделяет особое внимание выдаче наилучших результатов, а не наибольшего их количества, и генерирует результаты, используя более 400 источников, включая ключевые краудсорсинговые сайты, такие как Википедия, а также другие поисковые системы, среди которых Bing, Yahoo!, Яндекс и Yummly.

И тут ни слова про "независимость".

И если вам мало, то еще есть политика конфиденциальности и то, как себя позиционирует DuckDuckGo словами в страничке "О нас"

Так что подведем итоги: Уточка - молодец. Журналюг, которые решили похайпить на инфоповоде - на костер.

Уточка говорит, что она хорошая и не собирает о нас данные. Но она ни слова не говорила о том, что будет аполитичной или будет игнорировать какие то мировые факторы, она может это сделать, если захочет. Кинули камень в чужой огород даже не разобравшись в ситуации.

Материалы для поста взяты из статьи на хабре