Мультипарсинг в BAS. Работа со списком элементов без селекторов.


1 403 просмотра.

Краткое описание видео: .детство в этом виде мы посмотрим на.изменение базы 22.3 касающиеся парсинга.элементов для начала небольшое.вступление зачем вообще это нужно дело в.том что а предыдущих версиях поиск.элементов был затруднен тем что.пользователю необходимо было самому.составляется css либо expose метр и это.касалось именно поиска нескольких.элементов если элемент был всего один.taobao с отлично с этим справлялся и.селектор генерировался автоматически.сейчас же в новая версия.селектор или нескольких элементов.дивился автоматически давайте посмотрим.как это работает для примера рассмотрим.поисковую выдачу google и попробуем.спасет результат давайте зайдем губы и.видим по нему запрос наша задача состоит.том что будет спасать.вот эти элементы для этого снова.вернемся ниже гамова управления и нажмем.на один из элементов которые нам.необходим далее нам нужно выбрать.действие начать цикл.близится также монет что оно поменялось.а вместо расположение раньше находилась.внизу списка поставок мы открываем это.действия вас пытаются угадать какой.список нам необходим какой и составить.запрос.согласно этому списку и видите что в.данном случае практически список который.представил бас соответствует тому.который нужен нам давайте проверим так.ли это на самом деле видите что это.практически так поскольку вот этот.элемент нам на самом деле не ну и здесь.нужно отметить что практически всегда.составами по первому элементу список он.не соответствует потому что необходимо.на самом деле это понятно потому что.очень сложно угадать по одному элементу.очень сложно составить запрос.но мы можем его корректировать можем.убрать этот элемент из списка для этого.нужно просто кликнуть по нему видите что.браниться под элементом стала красный.это означает что он ни при каких.обстоятельствах не будет добавлен запрос.ещё у нас есть зеленый элемент элементы.границы которые ферменты фон которых.зеленый они обязательно должны быть.добавлены запрос вот эти синие с доме.элементы являются некого рода ключевыми.точками по которым вас ориентируется и.пытаются догадаться.прислал мне нужно убирать все элементы.фактически нас результат состоит из.синих и зеленых элементов если.стремиться слишком большая и на ней.слишком много всего и тяжело понять эти.элементы вошли выдачу акции нет мы можем.использовать.посмотреть на количество найденных.элементов во вторых нажать на эту ссылку.и последовательно нажимая на него просто.пройдемся по всем элементам.вот в данном случае я уверен в том что.запрос соответствует желаемому.теперь осталось нажать ok и мы получаем.цикл по умолчанию в тело цикла.записываются.получение разметке элемента и введению.влог давайте проверим когда все работает.посмотрим что влоги.действительно похоже на правду.еще один момент который я хотел бы.отметить это то что предлагаем axe.векторов вас природой сразу нескольких.векторов.вот первый мини очень нравится потому.как диктатор срок возможно он изменяется.со временем.поэтому давайте попробуем другой вариант.селектора на самом деле это работает.точно так же как с одним элементом вот.мне кажется что этот вариант он более.надежный и он также находит 10 элементов.которые нам необходимо поэтому нужно.макете изменим наш след давайте усложним.немного задачи допустим нам нужно.получать меня просто разметку каждого.элемента а именно текст который в нем.содержится на самом деле текст уже есть.слово который мы вводим но допустим нам.нужно избавится от вот этих тегов и.получать только текст ну вы знаете что у.вас есть для этого специальное действия.называется получить текст как его.применить для каждого элемента на самом.деле это очень просто для этого нам.нужно давить сначала давайте удалим.старые действия и создадим новое для.этого нужно нажать на любом перейти на.страницу.даже на подойдет даже а то которые мы не.хотим парсить и выбрать требуемого нам.действия когда мы находимся внутри цикла.вас просят нас а хотим ли мы выполнить.это действие для каждого элемента из.цикла либо выполнить его вот для.элемента которыми только чтобы.ну нам как раз нужен первый вариант.поэтому выбираем его и дальше ничего.делать не нужно.селектор за нас делает пас и видите что.он даже подсвечена это будет первый.элемент который мы выбрали чтобы.выполнить для всех нужно будет запустить.цикл.нажимаем ok переменной у нас находится.то что нам нужно осталось как-то.отобразить ельцы результате ну как.всегда.для этого обычно используется действие.волк и запускаем наш цикл и получаем.правильный результат.давайте теперь рассмотрим другой пример.дело в том что в парсинг я будущий бу.колбас практически сразу определил.необходимую нам запрос.но это бывает не всегда так зайдем на.reddit и наша задача будет состоять.пальцами где вот этих ссылок.нам нужно получить этим 7 ссылок и.только их будем действовать точно так же.в прошлый раз нажимаем на какой-то.элемент который нам необходим далее.нажимаем начать цикл и витя что.проявляется аж 798 элементов и нужно.постепенно играть не нужно и во время.этого процесса может случиться так что.вас берет эти элементы которые на самом.деле должны присутствовать в списке.чтобы вернуть их туда нам нужно.поставить еще одну ключевую точку сделай.так чтоб вас обязательно что они.обязательно присутствовали списке это.сделать очень просто достаточно выделить.элемент как обычно и нажать на нем левой.кнопкой мыши видите что его у граница.его фон станет зеленым.и это означает что при любых вариантах.он будет присутствовать в запросе.здесь в ответ действие действия также.некоторые статистика это сколько элемент.определяет на дачном исключены и сколько.элементов обязательно должны быть.исключены и вот таким вот способом.постепенно редактируя наше выделение.можем прийти к нужному нам результат.давайте сделаем это это нам не нужно это.тоже не нужно оставлять двадцать три.элемента.12 посмотрим что еще плату павлина.эти элементы также следует убрать и.пожалуй это тоже осталась всем элементов.и это именно те всем элементов которые.нам необходимо.давайте посмотрим пробудить работы цикл.да так и есть мы составили необходимы.запрос.есть ещё одна проблема часто.встречающиеся при парсинге.а именно то что требует иногда бывают.очень сложно выделить происходит так.потому что несколько элементов могут.накладываться друг на друга и ведь.абсолютно идентичной координаты.таком случае способ выделения еще найдет.только один из такого списка элементов.россия покажу как работает на примере.закроем окно.допустим наша задача состоит в том чтобы.получить ссылки на каждое вот это.изображение.но сделать это будет проблематичным.давайте посмотрим почему для этого.откроем разметку и посмотрите этот.элемент он сейчас подсвечен и вот этот.элемент они имеют одинаковые размеры и.одинаковое расположение то же самое.касается этого места и так далее и так.далее и так далее нам же нужно получить.вот эту картинку нужно получить урал.этой картинке когда мы выделяем элемент.новая версия также одно изменение в.левом нижнем углу экрана.desertec класс.классы и диктатор элемента если они.конечно же есть и вы можете наблюдать.это сейчас что я получаю.элемент с названием тега div тогда когда.он не нужен и матч как бы я не пытался.как бы я ни пробовал меня это пор не.получается сделать и для этого.существует еще одно нововведение которая.позволяет не прибираюсь все элементы.которые данном случае на улицах.атакующим для этого мне нужно.использовать стрелки на клавиатуре вверх.и вниз если я нажму стрелку вверх.я получаю другой элемент вот вы видите.сейчас что поменялось положении она.стала равна единица это можно видеть над.изображением которые выделены.а также поменялся так и на самом деле.это именно тот.которые нами нужен потому что 5 является.по умолчанию часиками вернулся он нам не.даст необходимые ссылки на элемент.этот же механизм можно использовать не.только для пальцами нескольких элементов.на для to sing одного элемента и так.можно обойти.абсолютно все элементы.вот например не нашли ссылку она была бы.нам призна если бы мы хотели получить.урал от этого поста но для этого будет.способ полегче об этом чуть позже в.данном видео если мы продолжим идти по.иерархии элементов вверх то мы получим.эту строку и дойдем уж совсем да сегодня.q ментов дымится можно очень просто.нажимаю снова стрелку вниз сейчас мы.снова выделим изображения дави а тогда.мы изменяем поражения мыши то позиция.элемента она сбрасывается.поэтому был придуман такой метод.вы можете отложить муж и выделяется.элемент с помощью клавиатуры вать.помощью стрелок.перемещаться по архи с помощью enter вы.можете данный элемент выделить.также это можно сделать с помощью а.кнопки мыши как всегда но есть шанс что.курсор немного сдвинется и это поменяет.выделение поэтому я наш мантр поскольку.я не двигаю.ток или неточными изменится и в данном.случае я выбрал изображение уже можно не.бояться поскольку перемещение изменять.определение элемент уже был выбран и.нажимаем на от начать цикл опять же вас.практически угадал давайте уберем не.нужно это и этом и добавим элементы.которые не вошли ни ищем посты.снова узел люди.а нам нужно иметь поэтому нажимаем нет.нужно intent-а и таким вот способом.добавляем к нашему велению предметы.посмотрим туалета что нам нужно да.действительно.закроем миски мент разработчика все это.можно сделать без них и теперь осталось.получить получить ссылки на изображении.цикл по нему уже делали это можно дать и.запущу.цикла чтобы было наглядно видите что.здесь очень много данных но обычно.ссылка на изображение находится в.атрибуте src и вот ее как раз мы сейчас.и будем получать опять же выбираем любой.абсолютно элемент здесь уже можно не.париться по поводу и меньше биде.поскольку мы находимся в цикле.далее набираем выбираем получить атрибут.элементом элемент из цикла или вводим а.сердце также нужно что то сделать нашими.данными или стрелок.очищаем старые значения и получаем.ссылки.это именно те ссылки по которым будут.доступны миниатюру изображения на самом.деле насчет этого механизма у меня было.очень много вариантов как это можно было.сделать один из них домом.такая некая деформация вот этой сетки.но он хотя бы удобен тем что не.приходилось использовать стрелок делать.каких-то дополнительных элементов но все.же на некоторых сайтах особенно там где.большое скопление очень маленьких.элементов и немного за друг на друга.такая деформация.совершенно невероятных размеров то есть.элемент ну пусть она в одной стороне.экрана определение другой поэтому было.решено оставить такой метод.его огромным преимуществом является то.что он позволяет выделять практически.все люди все видимые элементы на.странице.завершении видео я покажу еще одно.удобство которой добавилось последней.версии именно отдельные действия для.постинга ссылок на этот раз будем.парсить выдачу яндекса.делаем запрос и сейчас будем составлять.цикл просто чтобы разнообразить видео из.режима прямого управления сейчас видите.что browse реагировать на движение машин.ну вот все равно мы можем составить цикл.бисер столе давайте использовать правую.кнопку мыши постановки тоже сама.начинаем цикл и убираем не нужный.элемент этой же правой кнопкой драм.бaшня у нас осталось 10 элементов как.раз кого то что нужно нажимаем ok и.делаем цикл и обратите внимание что мы.получаем совсем ссылки.это элементы которые которых являются.div если мы сейчас использовали действия.получить атрибут элемента то эти.элементы нам фактически не подходят нам.нужно именно ссылки для этого нам нужно.было вот так вот править нашему деление.искать элементы с тегом пей и с ними.работать но вот действия который мы.сейчас будем использовать именно.получить адрес ссылки но отличается в.лучшую сторону.именно тем что она ищет адрес ссылки не.просто выделенного элемента.адрес ссылки ближайшие ссылки к.выделенному элементов.то есть она записки смотрит что если.этот элемент который мы.именно он является частью ссылки и она.находит именно ту ссылку которые.включают данные элементы и уже из него.получать необходимые данные и это.работает очень право стоящему интуитивно.сейчас мы посмотрим как.просто используем это действие здесь.неких до пальцами параметров просто.селектор убираем все старое и 8 блок.результаты.логин находится вся выдашь а также.хочется поблагодарить создателей проекта.сектор гаджет их а это отличная.библиотека на было использовано в.рабочем обновление.часть функционалом была полностью.переписанная часть усовершенствована.насколько я понимаю.проект сейчас не очень активно.развивается но я сама оставлю ссылку в.описании

Мультипарсинг в BAS. Работа со списком элементов без селекторов.

Как? Вы еще не смотрели? Ну это зря...