Зашейпить исходящий трафик Whatsapp на MikroTik.
 

Здравствуйте.
Имеется интернет в виде ADSL -> слабый исходящий канал.
Когда Whatsapp начинает делать бэкап на сервер (drive.google.com), он забивает весь исходящий канал -> инет нифига не работает.
Появилась мысль, зашейпить исходящую скорость. С MikroTik прям плотно не работал, мануалы по шейпингу (очередям) читал. Но там обычно описывается шейпинг с определенных адресов. Мне же не надо на телефоне постоянно резать исходящую скорость, только трафик Whatsapp'а. Вот и вопрос: как выцепить трафик Whatsapp'а на drive.google.com? Или может шейпить весь трафик с IP-адреса смартфона на IP адреса drive.google.com? Но у гугла тысячи IP адресов и сеток. Их все найти и позабивать в Mikrotik тоже такое себе удовольствие.
В общем какие есть способы решения данной задачи?

> Но у гугла тысячи IP адресов и сеток.

может лучше подумать в сторону справедливого разделения исходящего трафика?

Что понимать под критерием "справедливости"? Те мануалы, которые я находил, "справедливо" и с приоритетами делят трафик на устройство (IP-адрес). Это немного другое.
Суть в чем? Телефон перевожу в режим "В самолете" ночь. Утром его включаю, Whatsapp видит, что появился инет и давай делать бэкап. Пытаешься лазить в инете, а все тормозит. Да, можно очереди придумать и раздать приоритеты узлам (внутренним IP-адресам) и с другого телефона/компа тормозить не будет, так как для них будет выделяться часть полосы. Но при таком подходе для того смартфона, с которого будет выгрузка бэкапа идти, полосы не хватит. Вернее он ее полностью забьет. На этом смартфоне и будет тормозить инет.

Может проще самолетный режим не включать на ночь?

Для того чтоб шейпить по L7, надо сначала этот трафик распознать, по сигнатурам(не реально), по портам(не реально), по ип адресам(что тоже не реально), другими словами ищите обходные пути, такие как 1 или 3

3-v >А в воздухе тоже проблемы. Самолет улетел в стратосферу.
Не вернется пилот героем. Зачитался письмом из дома.
А пули летят, будто птицы. Взлетают и больно клюются.
Солдаты сидят и смеются. Хорошая вещь [b]привычка[/b]!
4-petrovichr > Понятно.
Может на Ондройед шейперы есть? Никто не в курсе?

2-cnyx > вероятно, вы находили не те мануалы.

Никогда не видел этот whatsapp. Но пристал клиент -- ну так надо что спать не могу. Через прокси, якобы, оно не умеет. Немного помониторив, открыл tcp:443 на 4 подсети 169./WhatsApp Inc. наверняка их намного больше, но мне было недосуг, мягко говоря. Клиент что-то там прочитал/написал, и вроде счастье произошло. Ненадолго)
Присылают в эту приблуду ссылки на видео, и оно, блин, не показывает. Катастрофа.... )))
Может есть у кого список ресурсов, для этой, кгхм, приложение?

[url]https://github.com/ukanth/afwall/wiki/HOWTO-blocking-WhatsApp[/url]

+
Не знаю, насколько реализуемо, ибо несилен.
Пара мыслей:
- периодически просматривать кэш ДНСа и шейпить соответствующие адреса
- мониторить адреса, на которые большой исходящий трафик и шейпить
- комбинировать вышеозначенное с расписанием (например, только утром)

7-v > статья, на первый взгляд, мусорная, моих сетей нет. Навскидку 3 адреса вразброс из этого списка, принадлежат Softlayer.
А [em]SoftLayer's new name: IBM Cloud[/em].
Смотрим далее, [em]Facebook plans to move WhatsApp, which is used by more than 1 billion people, from IBM's SoftLayer cloud to Facebook's own data centers.
[u]Published 11:18 AM ET Wed, 7 June 2017 Updated 5:38 PM ET Wed, 7 June 2017[/u][/em]
Статья 2015г. обновлялась в марте 2019.
А чего стоят правила блокировки в OUTPUT. Местный рут писал не иначе)

В любом случае, за информацию спасибо. Возможно, из этой каши, хоть что-то окажется актуальным)

9-смерш >
Меня там больше заинтересовали не адреса, а хостнеймы, которые с некоторой долей вероятности статичны.

[quote=cnyx;46687333]Хорошая вещь привычка[/quote]
Измени привычку. Вместо самолета используй "не беспокоить".
ЗЫ. У меня ваще привычка на ночь выключать телефон.

У Whatsapp не меньше адресов, чем у гугла. Никогда им не пользовался, точно сказать сложно, какие там подсети сейчас.
В виндовс есть такая штука, как маркировка пакетов от определенного приложения средствами самой ОС. Таким методом рулили трафиком Скайпа, что тоже не тривиально, может прокатить и с ватсаппом. Микроты понимают эти метки и на их основе могут рулить пакетами от приложения. Если настроить ватсапп на ПК и промаркировать его трафик, можно отследить его пути (в данный момент времени), dst адреса заносить в список, и на основе этого списка строить правила. И попутно делать выборку из DNS по ключевым словам drive.google (или что они там используют еще) для dst списка.

имхо, единственное место где можно [b]физически[/b] сохранить метку в пакете, т.е. вне пределов одного стека, это поле tos/dscp

[url]https://wiki.mikrotik.com/wiki/Bandwidth_Managment_and_Queues[/url]

не то?

OFF.

Разовая работа.
Есть чудомикротик(hex poe lite) + 2 точки доступа caplite. На чудомикротике был настроен сервис hotspot. Специалист поддержки сервиса hotspot выполнил обновление настроек "неглядя"
После обновления софта вайфай работает не корректно (хотя я сомневаюсь, что после).
Суть: Необходимо настроить на указанном оборудовании 2 вайфай сети + локальная сеть
1 – публичная – hotspot
2 - рабочая.
3 – локальная

Из сети 1 доступ в сети 2 и 3 закрыт.
Между сетями 2 и 3 пакеты свободно ходят.
Сеть 1 ограничена по скорости 5 мегабит на IP.
Сеть 2 ограничена по скорости 10 мегабит на IP в сторону интернета, В сторону сети 3 ограничений нет.
Сеть 3 никак не отграничена.
Район ОЗА.
Обратная связь – [email]wladuha@bk.ru[/email]

Админ, прошу с пониманием отнестить к офу. Если всеж мозолит глаза, скажи где опубликовать

14-lithium >
[quote]
Internetwork Control 110 (6) 111000 (48) – 110111 (55) 2 [/quote]
Не знаю почему со мной такое постоянно происходит)
зашел по твоей ссылке, ткнул в первый пункт оглавления [url=https://wiki.mikrotik.com/wiki/DSCP_based_QoS_with_HTB]DSCP based QoS with HTB[/url], со знакомыми буквами. Сразу же замерз на этой строке в таблице.
(про себя я подумал) Вот как относиться к материалам, с ляпами на второй же странице? и Сам себе ответил, настороженно.

Не знаю зачем, но загуглил [u]"111000 (48) – 110111 (55)"[/u], именно с кавычками.
Результат удивил.
Мне иногда кажется, что без "ынтернета", меньше было бы и вреда, в том числе.

15-wladuha >
Если хотспот не нужен, то можно через капсман, там удобнее.

14-lithium > Глянул. Походу примерно то. Анализируют пакеты по паттернам на L7, дают пакетам метку, потом можно в очереди засовывать.
Стал копать глубже, нашел паттерны приложений, Whatsapp'а там нет. Как зеркалировать трафик с телефона (WiFi) на ПК, чтобы Wireshark'ом глянуть пакеты не придумал. Сниффер пакета для Android работает плохо: запускаю в терминале пинги, а сниффер ничего не рисует. Хотя от других приложений какие-то данные видит. Хотя тут вот что подумал. Данные то все-равно шифрованные будут, 100% там SSL какой. Вообще при таких раскладах не факт, что пакет будет иметь какую-то уникальную метку, по которой можно будет сказатЬ, что пакет однозначно принадлежит Whatsapp'у.

18-cnyx >
на микротике есть свой сниффер.
А чем 7 не понравилась? Есть список хостов типа c1.whatsapp.net
Резолвать их в адреса и шейпать (по утрам). Вроде несложно

19-v > Про сниффер не знал.
[quote=v;46768991]А чем 7 не понравилась?[/quote]
Не понял.
[quote=v;46768991]Есть список хостов типа c1.whatsapp.net Резолвать их в адреса и шейпать (по утрам). Вроде несложно [/quote]
Так вообще, насколько я понимаю, бэкап грузится на Goggle disk.

[quote=cnyx;46769821]Так вообще, насколько я понимаю, бэкап грузится на Goggle disk.[/quote]
Откуда информация?

[quote=v;46770069]Откуда информация? [/quote]
Так в окне настроек написано
[img]https://appwhat.ru/wp-content/uploads/2017/09/Kak-sdelat-rezervnuyu-kopiyu-WhatsApp-1.png[/img]
Ну и запустил сниффер на микротике, зеркалировал на комп. Что смог понять, так это то, что идут сначала соединения по какому-то гугловскому протоколу, потом SSL и пошли TCP пакеты на 443й порт. Это тот максимум, что я смог увидеть.
Пока в голове только мысли, давать низкий приоритет исходящим пакетам на 443й порт (только для телефона). Но сейчас все через SSL работает, потому на самом телефоне браузинг тоже в основном будет тормозить, пока выгрузка бэкапа идет.
Ну и еще была другая бредовая мысль, но она вряд ли реализуема - делить полосу пропускания на установившихся TCP соединениях. Тогда если будут новые запросы на новое соединение на 443й порт с телефона, этому соединению будет выделяться часть полосы пропускания.

Вот еще такое нашел [url]https://www.robtex.com/as/as15169.html#bgp[/url]
Два адреса, на которые шла выгрузка, точно попали в эти заявленные подсети. Можно их оттуда дернуть и статически прописать. Занизить приоритет на гугл. В принципе Гугл диском и всякими там Гугл фото не пользуюсь.

[quote=cnyx;46770357]Так в окне настроек написано[/quote]
Интересно. У меня там написано iCloud (у меня iPhone).
Т.е. получается, вазап делает бэкап на твоей же гугл-диск (т.е. на аккаунт привязанный к твоему андроиду).
Я это себе иначе представлял.

И еще, у тебя там написано Ежемесячно.

[quote=v;46770420]И еще, у тебя там написано Ежемесячно.[/quote]
Т.е., выбери время, дай ему один раз бэкапнуться полностью, переключи на ежедневно/еженедельно, и там объем трафика будет мизерный.
Я не думаю, что оно каждый раз полный бэкап делает (хотя... х его з)

[quote=v;46770420] И еще, у тебя там написано Ежемесячно. [/quote]
Не у меня, скрин просто для примера. Лениво делать скрин на телефоне и копировать его на комп для аплоада. Бэкапы стоят каждую неделю.
[quote=v;46770458]Т.е., выбери время, дай ему один раз бэкапнуться полностью, переключи на ежедневно/еженедельно, и там объем трафика будет мизерный.[/quote]
У меня бэкапится без фото и видео, по идее это только чаты. 135Мбайт на 1Мбит/сек канале не очень быстро загружает.
Пока ломаю голову, как лучше такое просуммировать (7000+ строк с разными масками)
130.211.0.0/16
130.211.0.0/19
130.211.0.0/20
130.211.32.0/20
130.211.48.0/20
130.211.64.0/19
130.211.64.0/20
130.211.80.0/20
130.211.96.0/19
130.211.96.0/20
130.211.112.0/20
130.211.128.0/19
130.211.128.0/20
130.211.144.0/20
130.211.160.0/19
130.211.160.0/20
130.211.176.0/20
130.211.192.0/19
130.211.192.0/20
130.211.208.0/20
130.211.224.0/19
130.211.224.0/20
130.211.240.0/20
Скрипты не находятся, самому писать тоже не очень. Давно не программировал.

Это чо за адреса?
Зашейп весь исходящий трафик с телефона и все.
или 130.211.0.0/16

[quote=v;46770571]Это чо за адреса?[/quote]
Нашел AS гугла и все подсети в этой AS на этой странице [url]https://www.robtex.com/as/as15169.html#bgp[/url]
Там 7000+ префиксов, а подсеть 130.211.0.0/16 я взял просто как пример! Там их много больше. Подсети объявлены с разными масками, но их можно просуммировать до 130.211.0.0/16. Руками это выбирать муторно, да и считать в голове подсетки не очень удобно.
Есть у меня стенд EVE-NG (что-то типа GNS), там запущены образы Cisco маршрутизаторов. Запихнул я в одну из цисок все эти подсети, чтобы Cisco сама их просуммировала, но результат не очень. Слишком уж суммирует.
[quote]
8.0.0.0/8 is variably subnetted, 19 subnets, 3 masks
O E2 8.15.202.0/24 [110/20] via 172.16.2.34, 00:00:35, FastEthernet0/1.7
O E2 8.34.218.0/23 [110/20] via 172.16.2.34, 00:03:02, FastEthernet0/1.7
O E2 8.34.216.0/24 [110/20] via 172.16.2.34, 00:03:02, FastEthernet0/1.7
O E2 8.34.216.0/23 [110/20] via 172.16.2.34, 00:03:02, FastEthernet0/1.7
O E2 8.34.216.0/21 [110/20] via 172.16.2.34, 00:03:02, FastEthernet0/1.7
O E2 8.34.217.0/24 [110/20] via 172.16.2.34, 00:03:02, FastEthernet0/1.7
O E2 8.34.210.0/24 [110/20] via 172.16.2.34, 00:03:04, FastEthernet0/1.7
O E2 8.34.210.0/23 [110/20] via 172.16.2.34, 00:03:04, FastEthernet0/1.7
O E2 8.34.211.0/24 [110/20] via 172.16.2.34, 00:03:04, FastEthernet0/1.7
O E2 8.34.208.0/24 [110/20] via 172.16.2.34, 00:00:37, FastEthernet0/1.7
O E2 8.34.208.0/23 [110/20] via 172.16.2.34, 00:00:37, FastEthernet0/1.7
O E2 8.34.208.0/21 [110/20] via 172.16.2.34, 00:00:37, FastEthernet0/1.7
O E2 8.34.209.0/24 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
O E2 8.34.214.0/24 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
O E2 8.34.214.0/23 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
O E2 8.34.215.0/24 [110/20] via 172.16.2.34, 00:03:04, FastEthernet0/1.7
O E2 8.34.212.0/24 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
O E2 8.34.212.0/23 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
O E2 8.34.213.0/24 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7[/quote]
[quote=v;46770571]Зашейп весь исходящий трафик с телефона и все.[/quote]
Слишком легкий вариант.
[quote]Суть в чем? Телефон перевожу в режим "В самолете" ночь. Утром его включаю, Whatsapp видит, что появился инет и давай делать бэкап. Пытаешься лазить в инете [b]C ТЕЛЕФОНА[/b], а все тормозит.[/quote]
Именно поэтому навязчивая идея порезать скорость так, чтобы на серф с самого телефона осталась часть пропускной способности.

В общем понял я, что мои программерские способности не могут придумать, как просуммировать все сети, заявленные здесь [url]https://www.robtex.com/as/as15169.html#bgp[/url]
Но на выручку пришло вот это [url]https://github.com/grelleum/supernets[/url]
Прошелся по 7000+ подсетям скриптом стало 69 подсетей.
Теперь буду возиться с очередями.

удачи

В перле есть модуль суммаризации, отдаешь массив сетей, получает в ответ суммаризированый список, постоянно пользуюсь для уменьшения количества сеток например в ospf

31-sergiusf > Ну я об этом не знал. Нашел на питоне скрипт, им обработал все подсетки. Правда руки до Микротика пока не дошли. Зато нашел другой способ, но практически не имеющий ничего общего с сетями и шейпингом.
Поставил на телефон Tasker. С его помощью настроил, чтобы в определенный день в определенный промежуток времени (ночью) телефон перевелся в режим "Не беспокоить" (отключены любые уведомления и вибрация), включил WiFi. Вацап увидит, что появилась сеть, выгрузит бэкап, а потом вернет обратно обычный режим уведомлений и переведет телефон в режим "В самолете".

32-cnyx > помогло?)))

33-смерш > Да что-то не особо =) Сегодня по графику Вацап должен был выгрузить бэкап, но что-то пошло не так. В тестах скрипт отрабатывал, но выгрузка не произошла. А в 4 часа утра (на это время была настроена задача в Tasker'е) я спал.
Так же руки дошли до Микротика и его шейпинга. Грубо зарезать скорость на гугловские IPшники получилось. Зарезать чуть поумнее, с приоритетами трафика пока не получилось. Нашел старый гайд с хитрым делением трафика на приоритетность + деление пользователей на группы с разными приоритетами [url]https://habr.com/ru/post/131295/[/url] , но пока тоже не взлетело.
Типа там есть правила, отлавливающие Скайп и дающие ему почти самый высокий приоритет, по факту не отлавливается. ХОтя скайп там ловится по layer-7 и с 2011года (статья тогда написана) многое могло поменяться.
СТал тестить на FTP. При аплоаде трафик ловится и ему дается нужный приоритет, при даунлоаде трафику приоритет не дается. Странно это.

cnyx
походу решение проблемы лежит в другом
и ну очень простом действии :)))
называется QoS - вкл в самом adsl модеме
кстати какой модем ???
у тебя модем отдает весь канал первому попавшемуся запросу
правильно включенный режим QoS исправит ситуацию

35-vitPS > Dlink 2640U, QoS в нем не нашел. Нашел крутой большой файл настроек для Mikrotik с очередями и приоритетами. В приоритетах разные группы пользователей + сайты с разным приоритетом. Все круто и мощно должно баланситься. Для меня таких наворотов не надо, потому я его упростил для своих нужд. Но все-таки очереди работают в не совсем хорошо. В сети на похожие отзывы натыкался. Суть в том, что допустим менее приоритетный трафик занял полосу в 10Мбит, появился более приоритетный трафик, но ему достается даже чуть меньше половины. Я сам не проверял, но у людей приоритетный трафик таки забирает полосу, но очень не быстро. Вроде даже больше минуты, а то и в течение 10 минут.

Вот та статья на Хабре [url]https://habr.com/ru/post/131295/[/url]

cnyx спасибо за статью!!! - я сам не давно стал обладателем
мини вай-фай роутера от микротика - юзаю как точку доступа

посмотрел эмулятор на твой Dlink 2640U - разочарован
если тебе все же нужен adsl посмотри в сторону других производителей и именно б/у ибо новые распальцовки имеют сильно урезанный функционал

из старенького сильно советую acorp-422 или acorp-122
но подчеркиваю !!! не выше V2 ибо V3 это уже совсем другие модемы - если найдешь такие свисти - там есть нюансы
если у тебя adsl не 2+ и пров тебя режет по скорости 8/1
тогда найди ну совсем древний Dlink 500G - !!!смерть ТП прова!!! - максимально информативный девайсик
что мона юзать из современных adsl-ей быстро не отвечу
надо копнуть пару моделей - это не быстро
Зуксели сразу пролетают - ибо ценник не адекватный

вопрос понимания твоей мега системы :)
все таки остается открытым - поэтому вопросы продолжаются
какой у тебя модем - выяснили - увы и ах ну ты уже понял куда его надо выкидывать :)))
микромик - колись что юзаешь ????

и самый интересный вопрос - кто у тебя подымает инет канал
длинк или микротик ???? то самое PPOE

правильная настройка этой связки выглядит так
adsl - настройка шлюзом - все модем не приделах
он просто дырка в инет и ничем не управляет
кроме как физ подкл к стойке прова
микротик подключен к adsl-ю как роутер
все плюшки зависят тока от крутости микротика!!!

если рассматривать бредовый но вполне реализуемый вариант
длинк роутером (он и подымает PPOE) микротик шейпером
то ничего хорошего не получится
каналом заведует дохлое и тупое устройство
и что на него прилетело первым от шейпера то канал и будет грузить

к чему я это все на стучал ???
просто по тому что в эмуляторе Dlink 2640U я не нашел варианта настройки шлюзом - бриджом :(
поэтому предположить плохое есть основания

а теперь о веселом !!!

всецело поддерживаю первый пост V
кто мешает вкл телепон на часик раньше ???
у меня телепон спит с 01-00 до 05-00
в 5-00 включается загружается конектится к вафле
делает все свои черные и белые дела

я конечно дико извиняюсь но я встречал пользователей которые не знают о том что почти все смартфоны
имеют таймер вкл/выкл
кстати таймер будильника не зависим от таймера вык/вкл

не большая поправка к выше написанному

:) сори стар стал
есть в модеме все и QoS и Bridging
вот тока проблема в том на сколько он новый :)))
чем новее тем сложнее добраться до настроек
и не понятно будут ли они реализованы
+ разные прошивки с разными интерфейсами
в общем зооопарк еще тот
так шо искать QoS и Bridging проще по аналогии настроек
старых железок с имеющимися

с Bridging все проще это соединение
сносим нафиг все - модем в нуле - !!!внимание все явки и пароли пойдут лесом

выбираем тип соединение Bridging
где то рядом будет и QoS выбираем режим
про режимы проще почитать в мануалах на самый первый вариант 2640