Смотреть видео: BrowserAutomationStudio. Сеть. Туннелирование.


1 855 просмотров.

Краткое описание видео: .приветствую вышла новая версия.и в ней есть всего одно изменение но.достаточно существенно.это туннелирование браузера под этим я.подразумеваю что все запросы которые.делают про уже 200 свой трафик.то есть это могут быть год запросы по.запросы в поселке ты и так далее они все.идут через туннель.то есть через прокси который забыл.разработчик либо пользователь скрипта и.если так говорить очень просто того в.новой версии вас стало намного более.похожим на реальный браузер и его.намного более сложнее вычислить и на.самом деле это все то есть если вы не.являетесь опытным пользователям.то вам скорее всего стоит закончить.просмотра этого видео потому что дальше.будет мои размышления много технических.подробностей много воды и информация о.том как устроен газ и хрома внутри.особенная песня сетевая.а тех кто решили смотреть дальше тебя.хотел бы сказать что увидел состоит из 3.частей это первая часть это то зачем.вообще нужны такие изменения.почему возникла такая потребность.добавить аннулирования второе это как.работала над как все работал раньше и 3.о том как работает сейчас с новым.методом эти преимущества этого метода и.недостатки я буду использовать.браузер который называется эвальд это он.на основе google хрома и.у него такие же внутренности просто.интерфейс не нравится намного больше.именно вивальди.вторая штука это microsoft network.monitor.это снифер то есть программа которая.позволяет показывать весь сетевой трафик.но у нее есть такая очень приятная.особенность это то что она.группирует все запросы по процессу.который его сделал.отличие от ваша который показывает все.на запросы просто кучей это программа.позволяет сгруппировать.и даже закрывать по айпи который был.сделан запрос.есть еще сильно это и про к часто.пользуется но она себя представляет.прокси и показывают только соединение.которые были сделаны именно через этот.прокси и этого будет недостаточно чтобы.продемонстрировать некоторые моменты.ну конечно же буду использовать.последнюю версию чтобы показать как это.все работает на практике так давайте.начнем зачем вообще нужно ли вообще.гордись народ от рот с этим мелированием.ну это прежде всего для того чтобы.песни цепи то есть подключить прокси к.браузеру.но вы можете сказать что апраксия.браузера и которые нас на google chrome.они так поддерживают.вот настройках можно вести про общем.и вот здесь вот есть такое окно которое.правда отсылает к системному прокси.но есть подины которые устанавливают.прокси только для браузеров то есть так.чтобы не только системной настройке это.все да вот например один из таких.плагинов practical п но у этого подхода.есть два больших недостатков 1.это отсутствие поддержки протокола.собствен дефекации хотя разработчики и.плагина заявляет что она все-таки.поддерживаются.но наверное здесь имеется ввиду именно.очистить а именно аутентификация с http.протокол rio city пик с новый сокс.эта штука не работает и это очень.досадно давайте я попробую в этом.убедиться я же говорил что видео.достаточно техничная сейчас мы включим.снифер попробуем установить этот прокси.и посмотрим почему он не работает это.настройки данного плагина.я установил вы здесь вот нужно описать.айпи.report.также можно добавить логин и пароль.и чтобы установить прокси нужно выбрать.его текут в этом окне.давайте теперь проверим его зайдем на.сайт вон там сайты на небе страничкой пи.которая просто показывает эй пик через.который заходили на данную страницу.видите что уже происходит сетевая ошибка.и этот круг не работает хотя он сто.процентов являются рабочим давайте.пьющим снифер и посмотрим что произошло.нажимаем старт и нажимаю ok.действительно запрос пошел именно на 3d.adis который я указал.но он почему-то не удался.вот здесь вот в этом столбце.показываются данные которые передавались.по тисе пи.вот данные находится вот здесь вот это.всего три байта.и чтобы понять что они означают мне.нужно посмотреть на спецификацию она.достаточно простая здесь обмен всего.несколькими сообщениями от начального.приветствия от клиента 1 байт.это номер версии сокс эти посмотрим.первый полет эта пятерка то есть мы.используем сокс 5 темпа это это.количество поддерживаемых методов.интенсификации и здесь вот как раз.происходит проблема потому что здесь.единица то есть поддерживается всего.один метод аутентификации и скорее всего.это метод при котором оно не требуется и.дальше номера и видите что здесь то есть.фактически это запись уже означает что.chrome.передает только один метод метод персов.zante ситуации и поэтому дальше сервер.drive его дальше chrome вот видите здесь.домен находится дальше chrome передает.домен то есть переходит к запросу но.сервис восстанавливать потому что логин.и пароль не был виден и снова же chrome.пробудет ещё раз он пробудет несколько.раз делается просто не покажет эту.страницу.но.это именно то что у меня хотел показать.хотя логин и пароль google и ставили.но дэн дефекация все равно не.поддерживается и возможности со счетов.может только в этом плагин не.поддерживается но нет вот есть описание.бага с которым люди просят добавить.собственно отойти фикации углу хрому это.официальный багтрекер.но по состоянию на сегодня на ноябрь.2017 так и не было добавлено.и это такая первая проблема но это можно.было бы еще терпеть потому что можно.было бы добавить kotova какой-то прокси.в середине который бы смотрел трафик и.добавлял туда логин и пароль в каждый.запрос или можно было бы таким образом.обойти это ограничение.но вторая проблема она более серьезнее.существеннее потому что прокси.которому устанавливаю это не а вот даже.системной прокси это не приказ всем.приложениям.использовать этот прокси то есть они не.обязаны те.этого делать это всего лишь рекомендация.и я спокойно могу делать запросы не 0.прокси даже если системе.он установлен и что-то похожее.происходит и для хрома.потому что на самом деле не все запросы.идут через прокси который я установил.сейчас мы в этом убедимся давайте.все-таки установим прокси через этот.плагин http прокси.тот который отлично поддерживается без.идентификации.я установлю этот тип и снова проверю.страничку.видите это айпи прокси.можно сравнить с вот этим то есть прокси.похищен пинска и браузер работает через.прокси но если мы сейчас посмотрим с ней.филя то есть я его включу закрою браузер.я открою снова.если перезагружаем страницу то увидите.что прокси подхватился то есть как бы.браузер работает через прокси но если я.посмотрю цифр вот этот новый процесс то.помимо запросом к прокси и тут еще.запросы на какие-то два непонятных.адресов и увидите что это какие там.игра дуку я надеюсь что это просто акте.то какие то сайты то есть либо.изображение.либо что то еще но факт остаётся фактом.что я указал.прокси для браузера.а некоторые забрал запросы идут без.этого прокси напрямую и это меня.абсолютно не устраивают я бы хотел чтобы.все абсолютно все шло через прокси и вот.если я применяют одному подход.туннелирование то это как раз заставляют.а вот это как раз и является не просто.рекомендации а обязывает все запросы 5.через этот рокси.теперь давайте посмотрим как это все.работало раньше ведь прокси и работали в.базу долго до этой версии в том числе и.сокс процесс аутентификации и тут стоит.сказать что вам вас использовать для.встраивания браузера.атакуют добить ягу кота называются.охрану nobody’s фреймворке весов еще.нация и.как понятно из названия она ее задача.максимально просто это возможно добавить.возможность встраивать браузер в любое.приложение и у этой библиотеке есть.просто море замечательных возможностей.среди которых возможность поднять.полностью сетевое взаимодействия и.реализовать его самостоятельно есть.такой класс цифры сантандер и один.разработчик создаст.класс с таким же интерфейсом как описано.здесь таким же набором функций видите.что здесь достаточно простой.то он может выполнять все сетевое.взаимодействие самостоятельно если он.берет lettering вот эту функцию того он.получит внутренние параметры запроса то.есть какому серверу.нужно отправлять его какие кадры там.будут и и так далее а вот этой функции.он может вернуть результат то есть.вернуть страницу который вернул сервере.до культа картинку либо какой-то ряд.запрос и так далее и это очень-очень.долго это дает очень большие возможности.например от самого простого кристя маму.не делать этот сетевой запросы и сказать.что все люди не доступен.хотя на самом деле он доступен или же я.могу подменить какой-то hinder то.например a user agent но это позволяет.делает также достаточно сложные вещи.например изменить содержание закрылся.изменить пласт параметры которые.передаются на сервер или наоборот.изменить ответ который приходит от.сервера.а вот в этой функции то есть этот класс.из рабочих получают просто не ограничены.контроль сетевым кодом и вы можете.спросить но если вот в этих запросов.браузер уже не принимают участие то как.происходит сетевое взаимодействие как.происходит под запросы они происходят с.помощью.реализуются с помощью другой петельки.называться cool уж наверное многие из.вас принял слышали то очень известным.периотек а.очень старый продукт он развиваться.вдруг же анфас и свет и содержит.множество поддерживающих поддерживает.множество протоколов и содержит.множество функционал и вот то.сегодняшняя версия.а у вас все сетевого взаимодействия она.на проголосует эту библиотеку и через.неё пас взаимодействовал с любым.сервером но к сожалению у этого подхода.есть множество недостатков и последнее.время да вот я сохранил.ссылку на класс в вас который как раз и.идут этот класс и.переопределяют эти функции и делают там.самостоятельно запросы видите есть какие.то данные и то что я говорил все.происходит через скулы.но вот недостатки этого метода они.последнее время стали гораздо.перевешивать достоинства потому что вот.этот класс нем есть несколько ошибок.которая автор прогулка.ну пока считает их недостаточно.приоритетными чтобы чинить.например если стремиться возвышает.содержание в ней утра в кодировке и если.не содержит указание на то какая.кодировка вики-страницы.обычный браузер это угадывает а вот с.с таким методом dead и мне приходилось.сделать например вот такой вот простых.которые такой класс который просто.перекодировать страницу.понятно что это такое очень грубое.вмешательство это может быть замерщик.замеченную сервером но гораздо хуже что.это может привести к многим богам.например такая ситуация возникала в.социальной сети вконтакте то есть они.возвращают страницу в кодировке.windows-1251.то есть ньюта f8 и мне пришлось ее.перекодировать когда это сделал то.антарктиды заработал босна потом.появились другие баги потому что нужно.было перекодировать не только то что.возвышается от серверов но и те данные.например лыгина втором если они.русскими буквами физическим приходилось.перекодировать и.данные которая отправляется на сервер и.это было достаточно сложно достаточно.мучительно есть еще есть еще несколько.таких сложных бадов один из которых.связан с отправка файлов на сервер.которые очень мешает другой недостаток.это конечно разную новые технологии.которая внедряется в браузер и чтобы их.поддерживать.эти же технологии должны быть внедрение.гифку рук но этого не происходит но.одним из таких примеров может быть.сжатия файлов в чате ответа возвращаем а.от сервера то есть обычный ответ.сжимается то есть вот я сейчас получил.страницу я не вижу расшифрованным виде.но сервер передает ее сжатый так чтобы.количество текста было меньше и.существует разные методы сжатия.один из них zip он поддерживается как.раз это библиотека.вот недавно был украден их формат.получше он называется кажется брод я и.поддержку этого формата авторы.куру пока не добавили в то же время если.клиент не поддерживает этот формат.сжатия.то это может вызвать какие-то подозрения.потому что тогда федора оцеплен casing.он не такой как в обычном браузере и.на самом деле стандартного больше есть.еще сервер на события есть много всего.если посмотреть на вот эту вкладку.браузер.которая показывает ну так сказать.внутренности сетевого взаимодействия.браузерах то здесь есть множество.протоколов на примере http 2 и некоторые.штуки я даже не знаю что это такое и.ракета поддерживает cola.поэтому я столкнулся с вот такими.проблемами или последней каплей стало то.что пользователи стали жаловаться что.приходим на.джамал через бас сервер те будет.подтверждение по телефону.тогда как через браузер он этого.подтверждение дне требовать и вот тот.метод который реализован туннелирование.он как раз решают эти проблемы проблемы.совместимости протоколов проблема.анонимности которая возникли на джимейл.возможно если бы я не пришел то возникли.и на других сайтах и сейчас поговорим.про этот новый метод давайте теперь.перейдем к новому менты другу по имени.аккумулированию и здесь на самом деле я.уже все рассказал.могу только добавить что принцип работы.очень похож на принцип работы со 100.прокси фара.скорее всего вы слышали о нем то есть.все запросы передаются через тоннель.через прокси только с той разницей что.не нужно устанавливать добавить иного.софта и настраивать о каким-то образом.что происходит из коробки точно также.используется действие прокси.как и раньше и старые скрипты и они.будут работать с очень небольшим.исключением о котором я расскажу чуть.позже когда буду говорить о недостатках.методом давайте теперь попробуем.те же тесты которые я делал для браузера.для обычного браузера google chrome.первое это собственно все салда.дефекации посмотрим как он будет вести.себя при туннелирование я загружу тот же.сайт чтоб было честно.и вот здесь вот отображаются айпи кроксы.это означает что запрос.шел не напрямую но через прокси но.давайте проверим нет ли запроса в.каких-то других может быть которые идут.не через прокси.сделаем это точно также через sniffer 1.час запускаем.останавливаю и запускаю браузер здесь.два процесса это старый процесс здесь.показаны завершения соединений автору и.этот процесс уже нового и.и здесь все взаимодействие сетью она.идет через прокси тайпе прокси.здесь уже в отличие от обычного.chromebook.здесь добавил и со второй метод.аутентификации 2 то есть таким дефекация.по логину и паролю и через одно.сообщение уже накаляются этот логин и.пароль сервер ему принимают и дальше.продолжают работу уже с сайтом хорошо.теперь давайте посмотрим как будете.запросу которая более нагруженные.посмотрим как будет по туннелю.передаваться видеопоток загрузим.трансляцию на ю тубе.отведите видео отрисовываются сейчас.придет реклама все отлично единственное.то есть небольшие подписания но не.совместить эти о связи с отрисовкой.просто басни судне каждый кадр.сервер конечно же этого не везет это.только для разработчика.ну или пользователя скрипта посмотрим.что в сетевой части.здесь много запросов все они выполняются.успешно и самое главное что они идут.именно через прокси.давайте в этом ещё раз убедимся включим.снесет.вот новый процесс здесь запроса куда.больше вот это все видеопоток.но все они идут к одному это именно.кальпе прокси.хорошо давайте откроем какой-нибудь сайт.который привлек анонимность например.хуан и попробуем добиться там сто.процентов для этого я возьму a proxy.из остановок потому что этот прокси него.немного необычный dns другой страны это.из-за провайдера то есть dns будет.показываться не мой не из моей страны но.и не из страны прокси поэтому.стопроцентного результата добиться не.получится но вот с моста гором это.возможно поставим такой вот прокси и.загружен.да проще действия не отработала.сейчас будет правильно.девяносто процентов из 90 процентов.потому что очень свой пояс не совпадают.нужен именно московский то есть плюс три.это значит нужно умножить на 60 и не.момент единицам потому что х а потому.что значение задается в минуты или часы.нужно носить нашей сосна площадь.количество минут это число нужно.передать действия которое создает.часовой пояс.запустим ведь 1 должна работать.вот видите сто процентов отлично.обратите также внимание на то что dns.считается именно как dns at proxy.потому что я остановился один из от.google и если бы показывало системник то.здесь было бы страна финляндия.единственно что если ты спишь усыпит.опустел подозрительнее ки адрес но это.связано и низко мелированием это сразу.на сцене не прокси из их не качеством но.часовой пояс теперь правильно теперь.пройдемся по достоинствам и недостаткам.нового метода и при достоинства я уже.много рассказал поэтому.щас просто прибегут по ним кратко первое.это поддержка стандартов вот все.стандарты которые добавляются разные там.websocket и северные событие так далее.которые добавляются в браузер они будут.автоматически поддерживался и.туннелирование потому что все они они.реализованы поверх протокола тисе пи и.люди в основном себе и а туннелирование.как раз работает на вот этом уровне на.низком уровне часы пик то есть все что.будет добавляться она автомата будет.придерживаться второй плюс это конечно.же отсутствие зависимости от других.библиотек.таких как куру и отсутствия зависимости.от скорости внедрения них фич теперь все.будет поддерживаться из коробки и.автоматом третье это отсутствие кости.ней и разнообразных багов которые.вызваны.о прошлом решением это тот пример.который я уже рассказывалось кодировка.есть еще многие другие например такая.мало заветная весь но тем не менее в.youtube видео стали загружаться.то есть они раньше загружались на теперь.вот этот прогресс бар который показывает.процентном соотношении какая часть видео.уже загрузилась она в прошлой версии не.работал а теперь она работает и я уверен.что есть еще много других каких-то.мелочей который я не заметил но которые.были исправлены автомату.еще один плюс эта скорость.браузер chrome.он очень умён и он работает быстрее чем.обычные запросы в лоб то есть как.работала раньше пользователь задавала.адрес ural и акул делал запрос после.того как он получит ответа сервера он.развивал соединить если нужно еще что то.получить от этого сильно там.какую-нибудь картинку или какой-то шеста.он снова устанавливался единению снова.делал запрос chrome на ногу мне он.держит несколько соединение открытым.даже есть не сайт активно не.используются.то есть смотрите вот например сейчас я.говорю сами и не используем кипению но.вот списке открытых соки как здесь.наверняка здесь куча всего.и здесь наверняка есть летит и если я.приду сейчас сюда и нажму на круто.ссылку то воссоединение не будут.устанавливаться заново просто возьмется.уже существующие.и за счет этого достигается скорость но.на самом деле это не все здесь есть.целая статья в которой очень много таких.вот маленьких.фишечек которые ускоряют работу chrome и.теперь все это доступно.у вас так что прокси стали прокси и.работы без прокси она стала ну не 10 раз.быстрее но в полтора раза ..вот например цитата из статьи которые.подтверждают . мне рассказывал chrome.чек из 100 пунктов и взрыва не было бы.сократить и костный.то есть соединение.кэшируются остаются активными умирают.там через несколько минут.но тем ни менее соединение заново не.устанавливаются при каждом запросе еще.последний плюс.но он тоже важен это поддержка.стандартов т.е. у меня говорил раньше не.все уже не все сделано в куру вот как.пример.сжатия сжатия по алгоритму брокер раньше.была недоступна теперь доступна.соответственно даже если сервер не.использует этот тип сжатия то он все.равно видит что в кадре который.передается.accepting один там передается значение.точно такой же как и у реального.браузера.раньше мне приходилось изменять.размещения чтобы сервер не передал.случайно туда не закодировал ответ в.брод ли туда базами просто не смог его.раскодировать.и проведены в браузере не кучу.непонятных символов еще один пример это.хедер connection раньше его заменял.на клаус так чтобы запрос его проставок.он вернулся от сервером больше не перес.пользоваться теперь он точно такой же.патрону.тепла и это пожалуй все успел 7 но есть.еще и минусы.да к сожалению есть и минусы и сейчас я.расскажу и краник 1 минус это отсутствие.поддержки ipv6 прокси то есть это не.отсутствие поддержки ipv6.вообще но это отсутствие поддержки.именно прокси.альпи которых имеет шестую версию к.сожалению софт который я использую для.создания туннелей он не может справиться.цепи и.6 версия.еще один минус это функция которая.достаточно редко используется брамс.используется пользователями бас этапе.ширина нет она позволяет.и позволяло получить ответ от сервера в.форме текста или форму брейся 4 то есть.я допустим делаем запрос на сайт и я мог.получить этот текст не без действий и.получить текст без дополнительных.запросов например это использовалось.капчи сейчас это возможность осталось но.ее нужно использовать более осторожно.потому что она не будет работать.каких-то очень сложных запросов там где.например передается пост с кучей сложных.параметров вот ли а как она работает по.прежнему хорошо для каких-то джейсон.ответов которые отдает сервер.там допустим залогинен ли они не зала.tienen это тоже отлично работает новую.для сложных ответов ее лучше не.использовать и по умолчанию стоит.звездочка то есть нужно фиксировать все.ответы.лучше в новых версиях задавать действие.более конкретно какие именно ответа и.ценами кешировать чтобы не попасть на.какие-то баки второе.то есть третье это порядок заголовков.раньше порядок заголовка можно было.установить с помощью специального epic.сервер для опечатка браузера также.выдавал.порядок заголовков как один из факторов.отпечатка.но сейчас порядок будто.всегда такой же как и в реальном.браузера я собираюсь это измениться.временем но пока он так еще один минус.предпоследнее это установки прокси.теперь нельзя установить.сдать прокси только для определенного.играла и для определенных кладки да это.тоже.существенный минус но опять же это.возможность использования достаточной.ректор и саморегулирование она.подразумевает что все будет выполнено.через один и тот же прокси.так что это возможно я стала не раз.только новой версии и еще один совсем не.существенный недостаток это отсутствие.поддержки http прокси но я хочу сразу.обратить внимание что есть разница между.очистите пи прокси и http прокси http с.про xiaomi.поддержка осталось это все работает.берсерки мелированию старый протокол.он действительно старый архетипе он уже.не и поддерживается.я могу рассказать об этом более детально.то есть.вот это старый протокол он просто.добавлял он просто менял в get и post.запроса просто менял хоста поменял его.на хост прокси не то есть если я отыщу.обратиться на вот этот сайт из какой-то.другой айпи.то я ходит . не отменяю на айпи моего.прокси с соответствующим портом но такой.вот метод почему говорю стар и потому.что он уже очень редко используется.потому что он не позволяют прокси.фиксировать вот эти все новые технологии.такие как websocket и.и жизнь общайся не через get и проза про.через get и post запросы а через.совершенно другие механизмы через сокеты.поэтому современный вобан на http прокси.не будет работать буду работать только.некоторые текстовые страницы.поэтому это не страшно новых версиях.http прокси добавили method connect и.вот когда клиент от прокси используется.этот метод.то данный атом передаются в бинарном.виде и туда можно передать все что.хочешь и websocket и картинку и что.угодно.поэтому этот метод более продвинутые а.старые клятыми ли вы мне доступен и это.все минусы я надеюсь что некоторые из.них будут исправлены но если вам.критично использовать критично чтобы их.не было ну допустим использовать и по.вашей с прокси.то новый режим можно включить если я.выключаю вот эту галочку использовать.регулирование процесса для прокси.то новый мир состоит как старая все о.чем я рассказывал про куру и про замену.сетевого трафика лба она встает точно.таким же как и прошлых версиях то есть.фактически.убераю вот эту галочку вы просто.получается прошлом mercy.также были предусмотрены варианты когда.захотите изменить изменить это значение.динамически то есть если вы видите что.ваш пользователь файл записал это ваше.есть такси вы можете использовать.действия настройки браузера и поменять.там туннелирования процесса на a house и.это действие конечно же можно вызвать.блоки gif или менять его зависимости от.каких-либо условий на этом все и до.новых видео

BrowserAutomationStudio. Сеть. Туннелирование.

Как? Вы еще не смотрели? Ну это зря...