К списку форумов К списку тем
Регистрация    Правила    Главная форума    Поиск   
Имя: Пароль:
Рекомендовать в новости

Зашейпить исходящий трафик Whatsapp на MikroTik.

0 - 15.04.2019 - 12:18
Здравствуйте.
Имеется интернет в виде ADSL -> слабый исходящий канал.
Когда Whatsapp начинает делать бэкап на сервер (drive.google.com), он забивает весь исходящий канал -> инет нифига не работает.
Появилась мысль, зашейпить исходящую скорость. С MikroTik прям плотно не работал, мануалы по шейпингу (очередям) читал. Но там обычно описывается шейпинг с определенных адресов. Мне же не надо на телефоне постоянно резать исходящую скорость, только трафик Whatsapp'а. Вот и вопрос: как выцепить трафик Whatsapp'а на drive.google.com? Или может шейпить весь трафик с IP-адреса смартфона на IP адреса drive.google.com? Но у гугла тысячи IP адресов и сеток. Их все найти и позабивать в Mikrotik тоже такое себе удовольствие.
В общем какие есть способы решения данной задачи?



Модератор
1 - 15.04.2019 - 22:15
> Но у гугла тысячи IP адресов и сеток.

может лучше подумать в сторону справедливого разделения исходящего трафика?
2 - 16.04.2019 - 09:17
Что понимать под критерием "справедливости"? Те мануалы, которые я находил, "справедливо" и с приоритетами делят трафик на устройство (IP-адрес). Это немного другое.
Суть в чем? Телефон перевожу в режим "В самолете" ночь. Утром его включаю, Whatsapp видит, что появился инет и давай делать бэкап. Пытаешься лазить в инете, а все тормозит. Да, можно очереди придумать и раздать приоритеты узлам (внутренним IP-адресам) и с другого телефона/компа тормозить не будет, так как для них будет выделяться часть полосы. Но при таком подходе для того смартфона, с которого будет выгрузка бэкапа идти, полосы не хватит. Вернее он ее полностью забьет. На этом смартфоне и будет тормозить инет.
v
3 - 16.04.2019 - 16:24
Может проще самолетный режим не включать на ночь?
4 - 16.04.2019 - 22:13
Для того чтоб шейпить по L7, надо сначала этот трафик распознать, по сигнатурам(не реально), по портам(не реально), по ип адресам(что тоже не реально), другими словами ищите обходные пути, такие как 1 или 3
5 - 16.04.2019 - 23:04
3-v >А в воздухе тоже проблемы. Самолет улетел в стратосферу.
Не вернется пилот героем. Зачитался письмом из дома.
А пули летят, будто птицы. Взлетают и больно клюются.
Солдаты сидят и смеются. Хорошая вещь привычка!
4-petrovichr > Понятно.
Может на Ондройед шейперы есть? Никто не в курсе?
6 - 17.04.2019 - 23:45
2-cnyx > вероятно, вы находили не те мануалы.

Никогда не видел этот whatsapp. Но пристал клиент -- ну так надо что спать не могу. Через прокси, якобы, оно не умеет. Немного помониторив, открыл tcp:443 на 4 подсети 169./WhatsApp Inc. наверняка их намного больше, но мне было недосуг, мягко говоря. Клиент что-то там прочитал/написал, и вроде счастье произошло. Ненадолго)
Присылают в эту приблуду ссылки на видео, и оно, блин, не показывает. Катастрофа.... )))
Может есть у кого список ресурсов, для этой, кгхм, приложение?
v
7 - 18.04.2019 - 17:56
https://github.com/ukanth/afwall/wik...cking-WhatsApp
v
8 - 18.04.2019 - 18:10
+
Не знаю, насколько реализуемо, ибо несилен.
Пара мыслей:
- периодически просматривать кэш ДНСа и шейпить соответствующие адреса
- мониторить адреса, на которые большой исходящий трафик и шейпить
- комбинировать вышеозначенное с расписанием (например, только утром)
9 - 18.04.2019 - 19:55
7-v > статья, на первый взгляд, мусорная, моих сетей нет. Навскидку 3 адреса вразброс из этого списка, принадлежат Softlayer.
А SoftLayer's new name: IBM Cloud.
Смотрим далее, Facebook plans to move WhatsApp, which is used by more than 1 billion people, from IBM's SoftLayer cloud to Facebook's own data centers.
Published 11:18 AM ET Wed, 7 June 2017 Updated 5:38 PM ET Wed, 7 June 2017

Статья 2015г. обновлялась в марте 2019.
А чего стоят правила блокировки в OUTPUT. Местный рут писал не иначе)

В любом случае, за информацию спасибо. Возможно, из этой каши, хоть что-то окажется актуальным)
v
10 - 18.04.2019 - 20:07
9-смерш >
Меня там больше заинтересовали не адреса, а хостнеймы, которые с некоторой долей вероятности статичны.
v
11 - 18.04.2019 - 20:31
Цитата:
Сообщение от cnyx Посмотреть сообщение
Хорошая вещь привычка
Измени привычку. Вместо самолета используй "не беспокоить".
ЗЫ. У меня ваще привычка на ночь выключать телефон.
12 - 19.04.2019 - 01:25
У Whatsapp не меньше адресов, чем у гугла. Никогда им не пользовался, точно сказать сложно, какие там подсети сейчас.
В виндовс есть такая штука, как маркировка пакетов от определенного приложения средствами самой ОС. Таким методом рулили трафиком Скайпа, что тоже не тривиально, может прокатить и с ватсаппом. Микроты понимают эти метки и на их основе могут рулить пакетами от приложения. Если настроить ватсапп на ПК и промаркировать его трафик, можно отследить его пути (в данный момент времени), dst адреса заносить в список, и на основе этого списка строить правила. И попутно делать выборку из DNS по ключевым словам drive.google (или что они там используют еще) для dst списка.
13 - 21.04.2019 - 01:07
имхо, единственное место где можно физически сохранить метку в пакете, т.е. вне пределов одного стека, это поле tos/dscp
Модератор
14 - 22.04.2019 - 15:12
https://wiki.mikrotik.com/wiki/Bandw...ent_and_Queues

не то?
15 - 22.04.2019 - 17:03
OFF.

Разовая работа.
Есть чудомикротик(hex poe lite) + 2 точки доступа caplite. На чудомикротике был настроен сервис hotspot. Специалист поддержки сервиса hotspot выполнил обновление настроек "неглядя"
После обновления софта вайфай работает не корректно (хотя я сомневаюсь, что после).
Суть: Необходимо настроить на указанном оборудовании 2 вайфай сети + локальная сеть
1 – публичная – hotspot
2 - рабочая.
3 – локальная

Из сети 1 доступ в сети 2 и 3 закрыт.
Между сетями 2 и 3 пакеты свободно ходят.
Сеть 1 ограничена по скорости 5 мегабит на IP.
Сеть 2 ограничена по скорости 10 мегабит на IP в сторону интернета, В сторону сети 3 ограничений нет.
Сеть 3 никак не отграничена.
Район ОЗА.
Обратная связь – wladuha@bk.ru

Админ, прошу с пониманием отнестить к офу. Если всеж мозолит глаза, скажи где опубликовать
16 - 22.04.2019 - 21:14
14-lithium >
Цитата:
Internetwork Control 110 (6) 111000 (48) – 110111 (55) 2
Не знаю почему со мной такое постоянно происходит)
зашел по твоей ссылке, ткнул в первый пункт оглавления DSCP based QoS with HTB, со знакомыми буквами. Сразу же замерз на этой строке в таблице.
(про себя я подумал) Вот как относиться к материалам, с ляпами на второй же странице? и Сам себе ответил, настороженно.

Не знаю зачем, но загуглил "111000 (48) – 110111 (55)", именно с кавычками.
Результат удивил.
Мне иногда кажется, что без "ынтернета", меньше было бы и вреда, в том числе.
17 - 27.04.2019 - 23:45
15-wladuha >
Если хотспот не нужен, то можно через капсман, там удобнее.
18 - 12.05.2019 - 22:15
14-lithium > Глянул. Походу примерно то. Анализируют пакеты по паттернам на L7, дают пакетам метку, потом можно в очереди засовывать.
Стал копать глубже, нашел паттерны приложений, Whatsapp'а там нет. Как зеркалировать трафик с телефона (WiFi) на ПК, чтобы Wireshark'ом глянуть пакеты не придумал. Сниффер пакета для Android работает плохо: запускаю в терминале пинги, а сниффер ничего не рисует. Хотя от других приложений какие-то данные видит. Хотя тут вот что подумал. Данные то все-равно шифрованные будут, 100% там SSL какой. Вообще при таких раскладах не факт, что пакет будет иметь какую-то уникальную метку, по которой можно будет сказатЬ, что пакет однозначно принадлежит Whatsapp'у.
v
19 - 13.05.2019 - 15:26
18-cnyx >
на микротике есть свой сниффер.
А чем 7 не понравилась? Есть список хостов типа c1.whatsapp.net
Резолвать их в адреса и шейпать (по утрам). Вроде несложно
20 - 13.05.2019 - 20:22
19-v > Про сниффер не знал.
Цитата:
Сообщение от v Посмотреть сообщение
А чем 7 не понравилась?
Не понял.
Цитата:
Сообщение от v Посмотреть сообщение
Есть список хостов типа c1.whatsapp.net Резолвать их в адреса и шейпать (по утрам). Вроде несложно
Так вообще, насколько я понимаю, бэкап грузится на Goggle disk.
v
21 - 13.05.2019 - 21:43
Цитата:
Сообщение от cnyx Посмотреть сообщение
Так вообще, насколько я понимаю, бэкап грузится на Goggle disk.
Откуда информация?
22 - 13.05.2019 - 22:55
Цитата:
Сообщение от v Посмотреть сообщение
Откуда информация?
Так в окне настроек написано

Ну и запустил сниффер на микротике, зеркалировал на комп. Что смог понять, так это то, что идут сначала соединения по какому-то гугловскому протоколу, потом SSL и пошли TCP пакеты на 443й порт. Это тот максимум, что я смог увидеть.
Пока в голове только мысли, давать низкий приоритет исходящим пакетам на 443й порт (только для телефона). Но сейчас все через SSL работает, потому на самом телефоне браузинг тоже в основном будет тормозить, пока выгрузка бэкапа идет.
Ну и еще была другая бредовая мысль, но она вряд ли реализуема - делить полосу пропускания на установившихся TCP соединениях. Тогда если будут новые запросы на новое соединение на 443й порт с телефона, этому соединению будет выделяться часть полосы пропускания.
23 - 13.05.2019 - 23:01
Вот еще такое нашел https://www.robtex.com/as/as15169.html#bgp
Два адреса, на которые шла выгрузка, точно попали в эти заявленные подсети. Можно их оттуда дернуть и статически прописать. Занизить приоритет на гугл. В принципе Гугл диском и всякими там Гугл фото не пользуюсь.
v
24 - 13.05.2019 - 23:08
Цитата:
Сообщение от cnyx Посмотреть сообщение
Так в окне настроек написано
Интересно. У меня там написано iCloud (у меня iPhone).
Т.е. получается, вазап делает бэкап на твоей же гугл-диск (т.е. на аккаунт привязанный к твоему андроиду).
Я это себе иначе представлял.

И еще, у тебя там написано Ежемесячно.
v
25 - 13.05.2019 - 23:20
Цитата:
Сообщение от v Посмотреть сообщение
И еще, у тебя там написано Ежемесячно.
Т.е., выбери время, дай ему один раз бэкапнуться полностью, переключи на ежедневно/еженедельно, и там объем трафика будет мизерный.
Я не думаю, что оно каждый раз полный бэкап делает (хотя... х его з)
26 - 13.05.2019 - 23:34
Цитата:
Сообщение от v Посмотреть сообщение
И еще, у тебя там написано Ежемесячно.
Не у меня, скрин просто для примера. Лениво делать скрин на телефоне и копировать его на комп для аплоада. Бэкапы стоят каждую неделю.
Цитата:
Сообщение от v Посмотреть сообщение
Т.е., выбери время, дай ему один раз бэкапнуться полностью, переключи на ежедневно/еженедельно, и там объем трафика будет мизерный.
У меня бэкапится без фото и видео, по идее это только чаты. 135Мбайт на 1Мбит/сек канале не очень быстро загружает.
Пока ломаю голову, как лучше такое просуммировать (7000+ строк с разными масками)
130.211.0.0/16
130.211.0.0/19
130.211.0.0/20
130.211.32.0/20
130.211.48.0/20
130.211.64.0/19
130.211.64.0/20
130.211.80.0/20
130.211.96.0/19
130.211.96.0/20
130.211.112.0/20
130.211.128.0/19
130.211.128.0/20
130.211.144.0/20
130.211.160.0/19
130.211.160.0/20
130.211.176.0/20
130.211.192.0/19
130.211.192.0/20
130.211.208.0/20
130.211.224.0/19
130.211.224.0/20
130.211.240.0/20
Скрипты не находятся, самому писать тоже не очень. Давно не программировал.

Отредактировано cnyx; 13.05.2019 в 23:34. Причина: 1
v
27 - 13.05.2019 - 23:57
Это чо за адреса?
Зашейп весь исходящий трафик с телефона и все.
или 130.211.0.0/16
28 - 14.05.2019 - 09:57
Цитата:
Сообщение от v Посмотреть сообщение
Это чо за адреса?
Нашел AS гугла и все подсети в этой AS на этой странице https://www.robtex.com/as/as15169.html#bgp
Там 7000+ префиксов, а подсеть 130.211.0.0/16 я взял просто как пример! Там их много больше. Подсети объявлены с разными масками, но их можно просуммировать до 130.211.0.0/16. Руками это выбирать муторно, да и считать в голове подсетки не очень удобно.
Есть у меня стенд EVE-NG (что-то типа GNS), там запущены образы Cisco маршрутизаторов. Запихнул я в одну из цисок все эти подсети, чтобы Cisco сама их просуммировала, но результат не очень. Слишком уж суммирует.
Цитата:
8.0.0.0/8 is variably subnetted, 19 subnets, 3 masks
O E2 8.15.202.0/24 [110/20] via 172.16.2.34, 00:00:35, FastEthernet0/1.7
O E2 8.34.218.0/23 [110/20] via 172.16.2.34, 00:03:02, FastEthernet0/1.7
O E2 8.34.216.0/24 [110/20] via 172.16.2.34, 00:03:02, FastEthernet0/1.7
O E2 8.34.216.0/23 [110/20] via 172.16.2.34, 00:03:02, FastEthernet0/1.7
O E2 8.34.216.0/21 [110/20] via 172.16.2.34, 00:03:02, FastEthernet0/1.7
O E2 8.34.217.0/24 [110/20] via 172.16.2.34, 00:03:02, FastEthernet0/1.7
O E2 8.34.210.0/24 [110/20] via 172.16.2.34, 00:03:04, FastEthernet0/1.7
O E2 8.34.210.0/23 [110/20] via 172.16.2.34, 00:03:04, FastEthernet0/1.7
O E2 8.34.211.0/24 [110/20] via 172.16.2.34, 00:03:04, FastEthernet0/1.7
O E2 8.34.208.0/24 [110/20] via 172.16.2.34, 00:00:37, FastEthernet0/1.7
O E2 8.34.208.0/23 [110/20] via 172.16.2.34, 00:00:37, FastEthernet0/1.7
O E2 8.34.208.0/21 [110/20] via 172.16.2.34, 00:00:37, FastEthernet0/1.7
O E2 8.34.209.0/24 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
O E2 8.34.214.0/24 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
O E2 8.34.214.0/23 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
O E2 8.34.215.0/24 [110/20] via 172.16.2.34, 00:03:04, FastEthernet0/1.7
O E2 8.34.212.0/24 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
O E2 8.34.212.0/23 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
O E2 8.34.213.0/24 [110/20] via 172.16.2.34, 00:03:05, FastEthernet0/1.7
Цитата:
Сообщение от v Посмотреть сообщение
Зашейп весь исходящий трафик с телефона и все.
Слишком легкий вариант.
Цитата:
Суть в чем? Телефон перевожу в режим "В самолете" ночь. Утром его включаю, Whatsapp видит, что появился инет и давай делать бэкап. Пытаешься лазить в инете C ТЕЛЕФОНА, а все тормозит.
Именно поэтому навязчивая идея порезать скорость так, чтобы на серф с самого телефона осталась часть пропускной способности.
29 - 14.05.2019 - 15:27
В общем понял я, что мои программерские способности не могут придумать, как просуммировать все сети, заявленные здесь https://www.robtex.com/as/as15169.html#bgp
Но на выручку пришло вот это https://github.com/grelleum/supernets
Прошелся по 7000+ подсетям скриптом стало 69 подсетей.
Теперь буду возиться с очередями.
30 - 19.05.2019 - 20:56
удачи
Модератор
31 - 19.05.2019 - 22:27
В перле есть модуль суммаризации, отдаешь массив сетей, получает в ответ суммаризированый список, постоянно пользуюсь для уменьшения количества сеток например в ospf
32 - 21.05.2019 - 14:04
31-sergiusf > Ну я об этом не знал. Нашел на питоне скрипт, им обработал все подсетки. Правда руки до Микротика пока не дошли. Зато нашел другой способ, но практически не имеющий ничего общего с сетями и шейпингом.
Поставил на телефон Tasker. С его помощью настроил, чтобы в определенный день в определенный промежуток времени (ночью) телефон перевелся в режим "Не беспокоить" (отключены любые уведомления и вибрация), включил WiFi. Вацап увидит, что появилась сеть, выгрузит бэкап, а потом вернет обратно обычный режим уведомлений и переведет телефон в режим "В самолете".


К списку вопросов
Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск




Copyright ©, Все права защищены