Парсинг Ajax

[AgentRassilok]

1. во время парсинга ajax нету никаких ссылок
2. т.е просто тупо подгружаются и все, нельзя собрать регуляркой
3. единственный вариант - поиск по class элемента в конструкторе действий, тогда выдает 100 вариантов со страницы в индексах 0-99 и туда попадают нужные ссылки

если использовать Get->value то передается значение только одной ссылки

вопрос - как получить все?
вопрос 2 - как получать все вместе с постоянной прокруткой страницы? их там получится несколько млн

может как то в с# можно записать все индексы и получить их значения и все это записать в файл а дальше очистить и снова прокрутить страницу?

 

[izunag]

прокрутка страниц

for (int i = 0, l = Convert.ToInt32(project.Variables["scroll_count"].Value); i < l; i++) {
tab.MainDocument.EvaluateScript(@"
  window.scrollBy(0,Math.max(
    document.body.scrollHeight, document.documentElement.scrollHeight,
    document.body.offsetHeight, document.documentElement.offsetHeight,
    document.body.clientHeight, document.documentElement.clientHeight
  ));
");

 

[izunag]

вопрос - как получить все?
вопрос 2 - как получать все вместе с постоянной прокруткой страницы? их там получится несколько млн

  var items, a = [];
  items = document.querySelectorAll('.md-cell>a.ng-binding');
  for (var i = 0, l = items.length ; i < l ; ++i) {
    a.push(items.item(i).href);
  }
  return JSON.stringify(a);