Aggress & Vector Сorporation
Основные возможности:
Бесплатный парсер, скачать AGGRESS Parser.
Антибот никак непробивает. filter=0 это нужно в урле указывать? Если да, то зайди в папке search в файл Google.txt и исправь урл так как тебе нужно.
Хочу исправить парсинг овертюры, но к сожалению не знаю, параметры конфигурации. Можно их описать каким-то образом? Спасибо за парсер.
Есть ли хелп по парсеру?
Хелпа нету.
В папке search находяться файлы настроек на парсинг.
В файле AbsoluteUrl- это первый урл на который зайдет парсер, макроподстановкой {REQUEST} можно подставить запрос.
UntilTextAfter-<a href=”{TEXT}” это то что парситься, то есть парсер выдерет все между <a href=” и “.
UntilNextLinkAfter-<a href="{NEXTLINK}" это где искать следующию ссылку, для гугла например это NEXT, аналогично выдеранию урлов.
Значение Url- подставляеться перед напарсеным следующим урлом, то есть если напарсеный урл неполный например /search.php=asdf, то сюда нужно написать http://google.com.
Отличный парсер.Есть некоторые мелочи - Зря убрали время работы и всего найдено(как былов 1.5 версии) - непонятно сколько напарсил урлов . Диз не растягивается во весь экран во вкладках управление базами и настройки, но главное чтоб работал)
Добавьте проски uploader и checker
Чтобы прокси загружались с сайтов? Чекер чего?
так что делать с антиботом гугловским? как обойти? Имею ввиду вообще
Попробуй выставить время между запросами побольше.
Например, какое?
Как он вообщ работает расскажите недалекой:) поподробнее что где указывать и куда нажимать, и что я в итоге получу:))?? ПОЖАЛУЙСТА не закидывайте помидорами!
в итоге Вы получите список урлов, что за урлы будут - зависит от запросов. Прежде чем расписывать пошагово, Вам точно это надо получить? 
>>>Например, какое?
Например 30 секунд…
Нужно ввести запрос, выбрать поисковик и нажать на парсить.
Что-то понять не могу. Закинул пачку проксиков, поставил галочку, завел список запросов, нажал “запустить” и… жду, а результата не видно. Написало вроде строку запроса и висит… Что происходит не ясно. Может там проблема какая-то появляется, но сообщений никаких не выводится.
Только в МСН чего-то получилось.
Предлагаю обработку для программы сделать, чтобы говорила - работаю, обломилась об капчу, шаблон для парсинга не подходит, прокси не отвечают и т.д. Это позволит понимать в чем грабли.
Еще идейка: Считать накачанный трафик. Все же полезно видеть
А можно импортировать список прокси? Пробовал записать в файл proxy.txt, а парсер его перезаписывает, зараза :). Не по одному же вводить?
Я вводил по одному. Другого варианта тоже не нашел.
Вообще кто-то добрался до нормальных гостевух? Ту пачку, что мне выдал МСН только я немного проверил. Там крутые сайты и в них никаких гестбуков нет. Отсюда вывод - прога что-то парсит, но запросы явно требуется точить и точить.
я пишу запрос inurl:add.php catalog sites ничего не парсит. пишу add.php тащит совсем не то что хотелось бы(
google.txt правильный?
Url-http://www.google.com
AbsoluteUrl-http://www.google.com/search?q={REQUEST}{system\topdomains.txt}&num=100&hl=en&lr=&start=0&sa=N
UntilTextAfter-<a href=”{TEXT}”
UntilNextLinkAfter-
Pattern-{TEXT}
Начал юзать, прога виснет примерно на 1000 урлов гугла и 2500 янедекса, время между запросами менял до 30 сек ничего не помогает
Если указать для сохранения файл, в котором уже есть ссылки, то он их потерт или добавит к ним напарсенное? Экспериментировать не решился, т.к. чувствую, что как это обычно запорю себе все базы, которые уже есть)))
Какой файл отвечает за парсинг сниппетов? А то по дурости поставил везде галочки и у меня среди ссылок куски текста…
Было бы не плохо в модуле с работой с базами сделать функцию “Удалить то, что не содержит:”. Просто, например, напарсил так случайно базу со сниппетами и гестами вперемешку, написал, чтобы все, что без http:// удалилось - и не надо возиться руками.
Еще думаю, хорошо бы сделать вообще модульность. Чтобы каждый мог писать свои плагины. Тогда софт вообще расцветет.
Ну и все-таки хочется, чтобы кнопочка “Развернуть” разворачивала все нормально, хочется гибкого интерфейса (в автопостере тоже, а то там вообще порой хочешь в окошко логов хоршенько заглянуть - шышъ!).
PS А вообще - огромное спасибо за софт. Спасаешь очень многих!
За парсинг снипетов отвечает GoogleText.
Можно удалить все что содержит http:// и потом это сохранить.
Если указать для сохранения файл то все что там будет потрет.
Список прокси можно импортировать, просто сохраняеш прокси в proxy.txt, включаеш прогу и они должны там быть.
Прога показывает если прокси нерабочие.
Прочие неисправности могут быть связаны с ненастроеными файлами парсинга, настраивайте их сами так как для разных компов/IP иногда требуються разные настройки. Как настраивать описывал выше.
Как эта модульность должна выглядеть?
я себе это представляю в самых общих чертах.
Пишется сам модуль, делается папочка с его названием в корне проги (или там в plugins), вместе с папочкой в проге появляется вкладка.
Уж как там дальше все реализовать - просто не знаю.
Ну, например, прога при запуске смотрит какие есть папки в корне (или в plugins), ищет в них какой-то определенный файл (какой-нибудь там index.ini). В этот файл программер должен по каким-то правилам записать какие еще файлы участвуют в работе модуля, как они друг с другом взаимодествуют, т.е. инфу, которая поможет проге понять как все это работает и соответсвенно все правильно отобразить.
Правила, по которым составляется index.ini, должен придумать ты)))
В принципе, для начала можно сделать совсем чуть-чуть возможностей, а потом расщирять.
Сам я не программер и нормально объяснить сразу вряд ли смогу. Но если тебя заинтересовало, но по моим объяснениям нияга не понятно че я хочу, то скажи, а я обязательно подумаю.
Напиши пример.
То есть файл index.ini что в нем, возможности котрые ты хочеш и т.д.
Я пока непредставляю для чего это нужно…
Автор, у меня есть вопрос к вам по использованию (Выдирать только с одной страницы, адрес - site.ru/1.html, site.ru/2.html…)
Icq - 4574-5-6-1-6-4
Нашёл баг :
импортируем список запросов из файла, начинаем парсить
ЕСЛИ в ответ на запрос ничего не найдено парсинг останавливается, и дальше не идёт, несмотря на то что остаются другие запросы
+ добавь время работы и всего найдено
+ сделай чтобы указывать не точное время задержки между запросами, а диапазон, например 10-25
и чтобы прога случайно выбирала время задержки запросов между 10 и 25 (количество секунд) (так больше похоже на человека)
Хотелось бы иметь возможность указать cookies, с которыми происходит парсинг - например если для парсинга нужно сначала залогиниться.
ок, сделаю
отпиши здесь в коментариях когда выйдет новая версия , ладно ?
когда кстати примерно ждать ?
незнаю… постараюсь побыстрее конечно, ну в течении пару месяцев
блин спасибо … я уж тогда на php сделаю
кстати, видел в одном парсере - если гугл выдаёт капчу антиботовую - то она показывается пользователю - можно её ввести и дальше парсить сколько угодно. ))
Разобрался с настройками, парсит нормально.
Только вопрос: в строке AbsoluteUrl- при подставлении макроса {REQUEST} добавляется {system\topdomains.txt} - что это?
Поддерживаю Death, было бы хорошо иметь и в этом парсере такую фишку. Aggress, откликнись!
{system\topdomains.txt} это путь к файлу, строки из файла подставляються в запрос чтобы больше напарсить.
Постараюсь сделать показ капчи.
>>>Хотелось бы иметь возможность указать cookies, с которыми происходит парсинг - например если для парсинга нужно сначала залогиниться.
Покажи пример файла с cookies.
А какие требования к системе для него?
Запускаю, добавляю какой-нибудь запрос, жму “запуск”, ничего не происходит
Упс, сорри, всё работает
на другом компе не работало.
Как сортировать по PR?
В проге есть удалить если содержит, вот записываеш туда нужный PR и удаляеш, а потом то что удалил сохраняеш.
Как его настроить???
Я парсил yahoo.com и мне выдает ссылки типа
http://rds.yahoo.com/_ylt=A0geu814KJdHu9wAVgZXNyoA;_ylu=X3oDMTFicnNrYmhjBHNlYwNzcgRwb3MDNARjb2xvA2FjMgR2dGlkA01BUDAwOV8xMDAEbANXUzE-/SIG=12araere2/EXP=1201175032/**http%3a//site.com/board.jspa
как мне из этого получить ссылку
http://site.com/board.jspa
Как настроить смотрите в коментах, я описывал.
Удалить лишнее можно путем настройки файла с яшей, посмотри файл для яндекса там есть макроподстановка {BLACKWORD()}, вот в нее можно вписать слова, которые парсер недолжен парсить, например “rds.yahoo.com”.
Хм… проблема вот в чём… при любом запросе на любую ПС из запроса вырезаются &
т.е. было: &num=100&hl=en&lr=&start=0&sa=N
а парсер запрашивает: num=100hl=enlr=start=0sa=N
Это что за баг такой? в 1.5 не было такого.
Во всех версиях такое вроде было, необращай внимания, на самом деле парсить с ними, просто компонент их почему то непоказывает…
при инсталяции выдает, что нашел трояна:
C:\Program Files\AGGRESS\Parser\is-FC8E9.tmp
Is the Trojan horse TR/Crypt.XPACK.Gen
стоит Авира
у меня вирус выбивает в новой версии
http://www.valar.ru/gallery/0108/12354687.jpg
Как нибудь можно поменять язык на английский? У меня винд на английском, русский шрифт не читает в проге….
Подскажите пожалуйста как начать парс для Яши.В запросе что нужно писать если нужны гостевухи и форумы?И в спамилке как потом ссылки писать чтобы спам зарегистрировать свой.
Заранее спасибо!
Очень нужен Ваш потдробный ответ!
не парсит почему то русский запрос в гугле
уже 100 раз обсуждалось, это не вирус это упаковщик. проверяйте чем хотите, там все чисто
>>>Как нибудь можно поменять язык на английский? У меня винд на английском, русский шрифт не читает в проге….
Можно поменять в настройках.
>>>не парсит почему то русский запрос в гугле
У меня парсит
Отличный парсер, спасибо автору!
Только вот странность есть: напарсил я базу ~17000 урлов, нажимаю “Удалить одинаковые”, она мне оставила около 6К всего. Неужели так много дублей? подумал я и прогнал эти 17К другой прогой - на сортировку и удаление дублей. Та прога оставила 14К+ урлов. Так что же получается, агресс удаляет лишние урлы, не являющиеся дубликатами?
Парсер удаляет дубли по одинаковым доменам, то есть
http://vector-seo.info/guest/post.php
и
http://vector-seo.info/guest1/post.php
посчитает за дубли.
Пожалуйста, объясните мне, как человеку далекому от программирования, а лучше напишите пример. Мне нужно собрать все адреса в пределах сайта httр://www.artmoz.org/ (или любого другого каталога). Как настроить программу? Есть ли стандартные настроки?
Создай файл в папке search вот с этим -
Url-http://www.artmoz.org
AbsoluteUrl-http://www.artmoz.org/
UntilTextAfter-href=”{TEXT}”
UntilNextLinkAfter-asdfhref=”{NEXTLINK}”
Pattern-{TEXT}
потом в проге выбереш этот файл, введеш любой кейворд, и напарсиш.
Парсер как-то связан с вашим сервером? Пару дней ваш сайт был в дауне, и парсер в эти дни не работал
Да, связан.
я чуть не плакал!!
а почему неработали єто время??
А чего опять не парсит?!…
Извиняюсь, настройки файервола затупили…
А нерабочие прокси как-то помечаются и больше не используются программой или по ним продолжается перебор?
подскажите пару линков на proxy листы для парсера, а то те что я нашол уже непашут. Я перерыл уже 200кб прокси и все они непашут((
Я обожаю ваш парсер и незнаю как жить без него!!
Напишите пожалуйста новые настройки для парсинга яху, ато старые не работают.
По крайней мере запросы для бэков вида:
http://www.site.ru -site:http://www.site.ru -site:site.ru -site:www.site.ru не парсятся 
>>>я чуть не плакал!!
а почему неработали єто время??
Сервак лежал…
>>>А нерабочие прокси как-то помечаются и больше не используются программой или по ним продолжается перебор?
Неотмечаються. Парсер переберает прокси по кругу пока неполучит страницу.
>>>подскажите пару линков на proxy листы для парсера, а то те что я нашол уже непашут. Я перерыл уже 200кб прокси и все они непашут((
Я обожаю ваш парсер и незнаю как жить без него!!
http: //spleenjack.h15.ru/?page=urls вот сдесь глянь.
>>>Напишите пожалуйста новые настройки для парсинга яху, ато старые не работают.
По крайней мере запросы для бэков вида:
httр://www.site.ru -site:httр://www.site.ru -site:site.ru -site:www.site.ru не парсятся
Попробуй сам написать, я описывал в каментах как это делать.
А у меня одного гугл и гугл-текст не парсит?
Здравствуйте автор, подскажите, я пользуюсь вашим парсером и использую платный прокси. на первых двух запросах парсит нормально, на третьем запросе парсер говорит о том что мои прокси не работают хотя такого быть не может… я пробовал останавливать процесс, ждал кое какое время, но после повторного старта такая же история… пробовал в google.txt настраивать так AbsoluteUrl-http://www.google.com/search?client=opera&rls=ru&num=100&q={REQUEST}{system\topdomains.txt}&sourceid=opera&ie=utf-8&oe=utf-8
и так AbsoluteUrl-http://www.google.com/ie?q={REQUEST}{system\topdomains.txt}&num=100&hl=en&lr=&start=0&sa=N
а изменений ни каких …
Очень нужна ваша помощь, а то уже не знаю что делать …
даже время между запросами ставил 40
не помогает ни чего …
К сожалению незнаю что это может быть…
может гугл задал новые поля вывода, а парсеро не понимает от куда грабить ссылку,
aggress - скажы у тебя работает парсер??
гугл у меня работает
“Начал юзать, прога виснет примерно на 1000 урлов гугла и 2500 янедекса, время между запросами менял до 30 сек ничего не помогает”
что то я не пойму
поисковики вообще то больше 1000 url за раз не отдают….
Или это несколько запросов обрабатывается?
>>>Как нибудь можно поменять язык на английский? У меня винд на английском, русский шрифт не читает в проге….
>>>Можно поменять в настройках.
Здравствуйте. Скачала ваш парсер. Большое спасибо.
Только у меня возникли те же проблемы: русский шрифт не читается, а настройки, куда не ткну, не могу найти.
Подскажите, пожалуйста.
А что насчет русскоязычных запросов? По любому запросу выдает один и тот же результат.. Либо я что-то не то делаю
Разъясните пожалуйста.
>>>что то я не пойму
поисковики вообще то больше 1000 url за раз не отдают….
Или это несколько запросов обрабатывается?
Используеться подставление доменых зон.
>>>Здравствуйте. Скачала ваш парсер. Большое спасибо.
Только у меня возникли те же проблемы: русский шрифт не читается, а настройки, куда не ткну, не могу найти.
Подскажите, пожалуйста.
На третьей вкладке должен быть выбор между Russian.txt и English.txt. По умолчанию стоит Russian.txt, его можно увидеть.
>>>А что насчет русскоязычных запросов? По любому запросу выдает один и тот же результат.. Либо я что-то не то делаю
Разъясните пожалуйста.
Незнаю что такое. Попробуй заного настроить файл парсинга.
Хотелось бы спросить насчет парсинга кейвордов с овертюры.Добавляю запрос,viagra например,ставлю галочку на Overture,жду запуск..но больше ничего не происходит.Объясните пожалуйста в чем может быть дело.Спасибо
Дело в том что овертюра больше не работает.
>>>На третьей вкладке должен быть выбор между >>>Russian.txt и English.txt. По умолчанию стоит >>>Russian.txt, его можно увидеть
там прописан Russian.ini
меняю его на English.ini … делаю ре-старт изменений нет
почему на msn не работает переход на следующую страницу? как его правильно настроить?
опять сервак упал ? непарсит нех, даже запрос неотправляет
как насчет поддержки UTF в запросах?
Сервак непадал, насчет UTF - а зачем?
С языками была проблема, в дистрибутив случайно не вошли файлы с языками, перезалил его.
>>>почему на msn не работает переход на следующую страницу? как его правильно настроить?
Незнаю, про настройку смотрите выше.
поддержка UTF нужна для парсинга запросов содержащих в себе китайские, японские ну и другие нац. символы…
а в целом за софт респект, давно работаю с твоим софтом(думаю понял о чем я) =)
Пробую парсить Яндекс, дальше пяти страничек не желает идти, как можно это исправить?
Добавьте плиз парсер вордтрекера.
Овертюра лежит постоянно
Два затруднения:
- как искать в google.ru (я исправил в файле google.txt com на ru, но ищет все равно в com)
- при задании строгого зароса яндекс и гугле выдают не все результаты поиска, а сокращенные вариант
как мне получить полный список ссылок с результатом, который выдается после нажатия “Показать все без исключения.”
А ПР чекер у него на гугл настроен???
Если да, то он не работает, потому что, когда ссылки проверяешь, то ПР там совсем другой.
Вроде разобрался, он по главной странице ПР определяет?!
Как настроить чтоб парсил в яндексе выдачу “Показать все без исключения”
Подскажите,плиз, как парсить тексты?
А то что Trjan horse TR/Crypt.XPACK.Gen в инсталяшке, то это так и надо?
сорри не заметил выше что это упаковщик
Классный парсер!
С Гуглем разобрался - парсит замечательно!
Трабля с МСН: Парсит первую страницу, вторую не может:
1<a href=”{NEXTLINK}”
Здесь каждый раз меняется цифра 1,2,3 и т.д…
Как сказать парсеру, что там может быть любая цифра? Какие есть еще макросы?
у меня чекает на пиар не весь список, а только самое начало где-то первые 100-200 урлов, а потом идут только PR-? , от размера базы не зависит пробовал менять время запросов , ничё не даёт
если вырезать 100-200 урлов которые прочеканы и снова запустить чекать то опять первые 100-200 чекает и потом снова все остальные PR-? , там что ограничение стоит на колличество или как ?
ещё есть предложение по доработке:
неплохо бы сделать два дополнительных поля для ввода признаков для парсинга, то есть что бы всего было 3 поля для ввода признаков:
искать в урле (inurl)
искать в тайтле (intitle)
искать в тексте (intext)
думаю это всем было бы полезно для поиска тематических ресов, ведь не секрет что гугля например ценит бэклинки с тематических ресов больше чем с любых других.
Скажите, как Гугл то настроить?
поменял: UntilNextLinkAfter-
но дальше первой странице не уходит
ну не парситься гугл… что делать?
Aggress спасибо за твой парсер очень выручает! но сталкнулся с той же проблеммой что и Deswa напарсил базу на 62000 гест выбираю проверить на PR и что плучается? а получается то что он чекает первые 100-300 гест и потом идут одни PR-? я попробовал разделить базу на 10 частеи и всеравно PR-? тогда разделил на 62 части и опять PR-? после этого запустил браузер чтоб проверить вручную и вижу что google toolbar перестал показывать инфу по PR на тех саитах где раньше все было нормально пишет (информация о PageRank недоступна)что мне делать как прочекать базу по PR ??? ответь пожалуиста !!!
Загрузил список проксей, включил парсинг, а он все равно на прямую ломится, - естественно гугл забанил
Ммм,а можно фильтр поле побольше сделать?а то уж больно долго вводить 100 слов по 1 штуке в 1 поле ,а потом клацать кнопку
Задаю такой запрос:
inurl:contact daterange:2454677-2454677
парсить не хочет.
Без inurl парсит но много мусора.
Мне нужны урлы со словом “contact” по определенной дате.
Подскажите как можно выйти из положения.
На заметку:
Задав уйму запросов с разной датой но с одним и тем же кивордом можно напарсить огромное количество урлов.
Так как реализавать?
+ Alexxx
ага, у меня также парсить перестал гугль еще с 25 авг, правда МСН 26 -го запарсил….
но мне именно гугля нужна.
парсит.. но не работает с проксями … … прокси чекнутые олсабом.. а сами купленые..
2S_V_M
тебя побанил чек центр … а поскольку он тот же который использует тулбар то тулбар тоже не показывает … решение проблемы юзай прокси..
з.ы чувтсвую себя некропостером
Скажите, пожалуйста, какие макросы действуют на вкладке “Управление базами”?
Хочу отредактировать БД MySQL (замены по маске). Возможно ли это сделать данным софтом?
Новая версия, парсит нормально. Автору огромное спасибо.
Не видно нижнюю строчку там где выдает
сколько уже напарсено,и скорость парсера,даже
при изминении размера окна
У меня версия 1.6 гугол не парсит, стоит ли скачивать новую 1.7?
Скачал парсер, проверил авастом, ругается на троян.
C:\downloads\AGRPsetup.exe\{app}\AGGRESSParser.exe\[ORiEN]\[ORiEN]
Win32:Crypt-CMV [Trj]
Что за фигня?
ORiEN - это пакер
А какой формат для проксей с авторизацией?
proxy.txt
Хорошая программа!Так держать, товарищ Агресс!
Подскажи плз, если я хочу собрать базу форумов и досок в украинских доменах, какие действия мне для этого нужно предпринять с программой.Что как и где мне нужно прописывать?!
Заранее благодарен за ответ.
get latest updates on site news and site post
Кстати, для парсинга одинаковых гостевух на одном домене часто надо указывать filter=0 в гугле.
И кстати, как он пробивает гугловский антибот фильтр?
November 23rd, 2007