Нет, не нужно. Давайте рассмотрим это более подробно.
Для того, чтобы отпарсить сайт и собрать данные необходимо как минимум знать основы HTML разметки и желательно иметь базовые знания Javascript. Так что если вы всерьёз хотите что-то скрапить, вам стоит начать с изучения этих двух технологий.
Тем не менее многие ответят на этот вопрос следующим образом: «Вы должны выучить Python (или PHP), скачать вот эту крутую библиотеку, потом сделать то, потом это». Но программирование доступно и понятно далеко не всем, а вот данные по прежнему нужны. Такой вот замкнутый круг, где данные нужны, а собрать их человек не может.
Как быть?
Самый простой способ — нанять фрилансера, и он возможно все сделает как нужно.. но, всегда есть но! Это стоит денег, и иногда весьма немалых. Второе — если что-то с парсером пойдет не так, вам придется опять найти фрилансера и опять заплатить. Но и это не все ваши беды! Вам так же нужен компьютер или сервер, достаточно времени для настройки парсера и всего того что ему нужно. Это кошмар! Все эти — «установи то», «напиши в консоли это».. Да я не умею! Я просто хочу, чтобы это работало! А теперь представьте что у вас магазин и вы, например, хотите следить за ценами конкурентов. Представили? Вам нужно 10, 20, 100 таких скраперов. И этот ад продолжается, опять консоль, опять какие-то непонятные команды, и так по кругу. Сложно не правда ли?
Вариант проще?
В сети хватает сервисов которые позволяют парсить данные с сайтов не зная ничего о языках программирования.
Там все просто. Запустили приложение (или используете встроенное приложение на таком сервисе), потыкали мышкой, получили скрипт, запустили его в сервисе — скачали файл. Но, такие сервисы работают до той поры пока вам не потребуется сделать что-то сложнее чем собрать цены (для некоторых таких сервисов, даже это может вызывать адскую боль). Например вы хотите получить данные со сложной структурой, большим уровнем вложенности, или вам нужно как-то нормализовать извлеченные данные. Подавляющее большинство из таких сервисов для вас отпадают, так как просто не могут этого сделать.
Выход?
Выход есть всегда. Даже три:
- Выучить язык программирования, например Python, Ruby, Java, C#, PHP.. список можно продолжать очень долго.
- Запастись деньгами и нервами.
- Не мучиться и использовать сервис Diggernaut.ru.
Почему именно Diggernaut? Да всё очень просто:
- Приложение Excavator возможно, выглядит несколько сложнее, чем инструменты других сервисов, но позволяет решать гораздо больший круг задач, быстро работает и не тормозит как приложения некоторых других сервисов. Также есть набор подробных видео уроков для освоения этого инструмента.
- Наличие мета-языка. Это очень мощный инструмент. Вам не нужно знать как работает парсер, какие он использует библиотеки, какие функции он вызывает, когда и главное зачем. Абстрагируясь от всего этого, вы описываете только логику работы вашего парсера. Нечто типа — пойди сюда, забери то — положи сюда. Это просто и понятно, и все что вам нужно — это любой современный браузер (у вас он есть, не так ли?).
- Разрабатывать на мета-языке намного проще и быстрее — вы заняты только написанием конфига, а не установкой и подключением очередных модулей и библиотек для #языка_программирования
- Единый центр управления и хранения, все ваши парсеры управляются и запускаются в одном месте. Все ваши данные хранятся в одном месте — один клик и они у вас.
- У вас нет времени на разработку? Вы всегда можете нанять разработчика вашего парсера прямо из контрольной панели, когда вы создаете новый парсер просто выбрав в опции «Hire Developer» пункт «Yes». Разработка на мета-языке в разы быстрее и соответственно в разы дешевле стоимости разработки парсера на любом языке программирования. Вы экономите деньги и время, вам остается только скопировать код конфига в ваш диггер и запустить его.
Вы все еще сомневаетесь? Проверьте сами совершенно бесплатно
