Парсер альбомов вк Browser Automation Studio


2 424 просмотра.

Краткое описание видео: .приветствую вас в сегодняшнем видео и.сегодня мы с вами будем писать парсер.фотографии вконтакте.теоретические знания которые вы получили.в предыдущих моих уроках понадобится вам.сегодня для практического применения.давайте сразу же приступим первое что.нам необходимо сделать это зайти в.альбом в контакте которую мы хотим.спарсить для этого нам даже не.обязательно логинится в контакте.давайте загрузим и я выбрал вот этот.альбом сейчас я буду его парсить.наставляю you real сайта.выполните добавить и жмем ok.ждем пока страничка прогрузится.подождали дальше мы можем наблюдать что.у нас с вами.45 фото да я увеличил страничку чтобы.видеть лучше 45 фото.и каждая нам нужно будет спарсить я уже.предварительно посмотрел прямой ссылке в.коде контакте на фотографию не.содержится а это значит что мы не можем.просто взять эту ссылку из страничке мы.должны имитировать поведение человека то.есть мы должны нажимать на картинку она.должна раскрываться в полном объеме и.только тогда парсить ее то есть говоря.скачивать для тех кто знакомился с моим.видео про селекторной циклы.не составит труда понять как это все.сделать в несколько строчек.если вы плохо разбираетесь что такое.циклы вообще рекомендую вам вернуться к.предыдущим урокам давайте сделаем.следующим образом во первых начнем цикл.для каждой такой фотографии на жмем.правой кнопкой мыши и сделаем следующее.для каждого элемента начать цикл дальше.что нам необходимо сделать это выбрать.селектор элементов выбрать его нужно.уникальным то есть нужно сделать так.чтобы синеньким и таким вот цветом.подсветили все 45 фотографий.конечно мы можем наблюдать что css.выдает нам страны элементы вообще не.люблю css путь я всегда использую как вы.уже знаете матч мы выбрали меч и все.равно наблюдаем что нам выдает.уникальный элемент нам необходимо его.универсале zero вать то есть подсветить.все 45 давайте посмотрим какие здесь.слова элементы знаки уникальные а какие.могут быть универсальными я предполагаю.что вот эти вот циферки да вот эти.циферки они у нас уникальный то есть эта.ссылка своего рода на каждую.определенную картинка и давайте.попробуем убрать эти ссылки.вот очень убрать эти циферки и тогда там.у нас получилось все 45 фотографий.подсветили синеньким цветом а это значит.что цикл мы можем начать нажав ok.прекрасно теперь мы задали такую работу.программы которая будет обрабатывать.каждую фотку отдельно сама и нам не.придется выискивать какие-то уникальные.значения для всех 45 фото что очень.удобно.давайте подумаем какая следующая наша.очередность действий ну во-первых.кликнем внутрь циклом вот сюда дальше.нам во первых необходимо кликнуть на.картинку ждем правой кнопкой мыши для.каждого элемента строго в этой вкладке.работы не в этой еще раз а в этой дан мы.двигаем мышь и кликнул кликнуть двигать.мышь и кликнуть на лимит сумел выполнить.и добавить жмем ok смотрим что.происходит так нас не двигает мышь и не.кликает цен элемент а все потому что нам.нужно запустить заново поехали запускаем.дальше начинаем цикл двигаем мышки.кликаем вот прекрасно перед нами.открылось картинка теперь наша задача.эту картинку как-то сохранить чтобы вы.понимали это делается не как в обычном.браузере chrome до правая кнопка мыши.сохранить здесь немножко другие принципы.то есть нам необходимо получить код.формате bass 64 кто знаком с.программированием прекрасно понимает о.чем я говорю кто не знаком с.программировать программированием.поясняю что оба из 64.это текстовое текстовое значение.уникальное значение для каждой картинке.она состоит из множества символов то.есть это своего рода кодировка.фотографии давайте получим этот борис 64.прежде всего нам нужно выделить вот эту.рамочку с фотографии чтоб оно.подсветилось красненьким ни в коем.случае не выделяем больше меньше и так.далее вот именно эту рамочку жмем левой.кнопкой мыши и работаем уже с этой.частью текста.ну то есть меню жмем скриншот и мы опять.видим что нам предлагают сохранить.уникальный элемент.а нам этого конечно же не надо мы.убираем вот эти циферки и все равно.видим что мы его не универсале zero вали.потому что нас найдено каких-то два.элемента.какой-то 2 не понять где находится вы.наверное уже прекрасно знаете что мы.сделаем в этом случае мы явно задаем.какой по счету элемент нам требуется при.помощи вот такой конструкции давайте.посмотрим что у нас высвечивается тут.элементом под номером 0 вот что-то.высветилось до элемент какой-то на один.но мы его не видим значит очевидно что.под номером один будет наш конкретный.элемент вот он кстати и подсветился.синим ким жмем выполнить и добавить жмем.ok хорошо мы с вами создали скриншот и.скриншот закодировался у нас формат bass.64 и хранится он в одноименном.переменной скриншот bass 64.теперь давайте подумаем теперь мы можем.сохранить эту фотографии но нам нужно ее.сохранить под каким-нибудь.именем вверх на все фотографии на вашем.рабочем столе метку это название вы.можете называть ее как хотите как угодно.но эти имена естественно не должны.повторяться сколько у нас идет цикл если.он будет называть его одинаково эти.фотографии одинаково то это будет глупо.потому что фотографии будут.перезаписываться поэтому для них нужно.придумать какие-то уникальные имена.давайте сделаем следующим образом зайдем.в настройки выберем случайная строка и.пусть нам программа сама что-нибудь.генерирует и запишет сгенерированный.результат в переменную рэндом string.нажмем выполнить добавить нажмем ok.пришло время нам сохранить нашу.фотографию в какую-нибудь папку давайте.так и сделаем взойдем.файловая система запись в файл.первое что мы сделаем это не забудем.поставить галочку что данные.представлены в формате bass 64.укажем путь к файлу следующим образом я.взял создал специально для этого папочку.назвал и незамысловато папка для фото до.скопирую сюда вот дальше самый важный.момент у нас есть определенный путь до.папки теперь нам нужно задать явно и.названию файла у нас гинер и.сгенерировали случайная строка.давайте мы поставим дробь возьмем эту.переменную с рэндом string нажмем ok и.добавим ..джей пи джей то есть вот под таким.названием у нас будет сохранена.фото ну естественно брендом тренинг.будет как это случайная строка данные.которые мы сюда будем вставлять возьмем.с переменной.скриншот b64 нажмем ok.нажмем выполните добавить нажмем ok.давайте посмотрим вот у нас уже.добавилась какая-то фотка папка для фото.да это вот та им на фотка которую мы и.хотели удалим ее пока она нам не нужна.так и это и еще не все.не забываем что нам необходимо закрыть.фотографию то есть мы двигаем мышь и.кликаем на элемент элемент под названием.ночь onclick фото.является уникальным то есть.универсальный по всей видимости ну.поэтому мы его и оставим выполните.добавить и нажмем ok.таким образом мы возвращаемся в исходное.состояние как будто бы мы просто.загрузили.посылки альбом сунула следующим.действием цикл начнет обрабатывает также.второе фото 3 4 итак 45 раз но все это.нас вместе давайте посчитаем 1 2 3 4 5 6.7 строчек удобно не правда ли а теперь.давайте загрузим скрипт заново нажмем на.вот эту кнопочку и посмотрим что будет.происходить как мы наблюдаем сейчас.скрипт.открывает картинки и сохраняет их.скриншотам заодно откроем папочку и.видим что у нас открываются здесь ссылки.на фото.а здесь параллельно они сохраняются вот.уже 3 фото у меня сохранилось в папку вы.можете применять этот метод естественно.не только для века вы можете принять.этот метод куда угодно в принципе он так.будет делать все 45 раз поэтому здесь.действия будут.однообразный еще один момент ребята.смотрите на скрип не сохранил вот такой.скриншот нужен ли мне такой скриншот.естественно нет то есть он еще не успела.подгрузить и взял и сохранил ему.давайте остановим скрипт и скорректируем.ему.поскольку меня лично не.устраивает что он подгружает фото не.успев его загрузить он делает уже.скриншот к нему.давайте просто в тот момент когда мы.кликаем на фото.а это вот этот момент до после клика мы.будем ждать полной загрузки картинки для.этого перейдем браузер и нажмем извините.не в браузер в ожидании ждать полной.загрузке выполнить добавить и нажмем ok.теперь мы будем защищены от того что у.нас будут.фото сны прогула такого вот плана да то.есть еще не с не про груженой страничкой.давайте попробуем проэкспериментировать.что нам там.выдаст скрипт перезапустим его поехали.воду ждем.интернет конечно скорости не блещет но.какой есть.тише едем дальше будем двигает мышь ждет.полной загрузки картинки обратите.внимание он еще и сюда не скриншотик.дождался этой самой загрузки до ждет еще.загрузки видимо не все элементы.прогрузились.какие-то дальше скриншоте и появилась.нас это самая картинка здесь дальше ждет.полной загрузке 2 фото скриншоте.появляется вот она на все то же самое.будет делать 45 раз мы по крайней мере.мы скорректировали screen.все значит а действие как будут.происходить вполне понятны для вас я.думаю что полностью раскрыл эту тему в.этом видео если нет пишите комментариях.что требуется раскрыть и на этом я с.вами прощаюсь всего доброго

Парсер альбомов вк Browser Automation Studio

Как? Вы еще не смотрели? Ну это зря...