Подскажите, как решить проблему с размером файла

Discussion in 'Вопросы новичков' started by keltuzhaknut, May 29, 2017.

  1. keltuzhaknut

    keltuzhaknut Client

    Joined:
    Feb 24, 2016
    Messages:
    221
    Likes Received:
    2
    Идет процесс парсинга, сохраняется результат в файл, процесс многопоточный, запуск идет до конца и запускается шаб по новой.
    Если размер файла более 5 мб. То процесс парсинга - начинает выдавать ошибки из 10 1-5 раз(пишет в логах , как автоматизировать процесс. Чтобы работа была стабильной. без ошибок? Ошибка работы с файлом
     
  2. sergej_g

    sergej_g Client

    Joined:
    Nov 29, 2011
    Messages:
    98
    Likes Received:
    57
    Поставить паузу на пару секунд в нужном месте.
     
  3. Nick

    Nick Client

    Joined:
    Jul 22, 2014
    Messages:
    1,626
    Likes Received:
    647
    Может, ты слишком частишь с записью наперегонки? Пусть каждый поток какое-то время работает сам с собой и пополняет список в памяти, а потом это скидывает в файл и закрывается.

    И ещё, в разных версиях есть разные глюки. Проверь, что именно в твоей версии с этим норм.
     
  4. alekwuy

    alekwuy Client

    Joined:
    Apr 6, 2013
    Messages:
    1,625
    Likes Received:
    447
  5. keltuzhaknut

    keltuzhaknut Client

    Joined:
    Feb 24, 2016
    Messages:
    221
    Likes Received:
    2
    8 гб. озу, i7 - на 20 потоках, get запросы
     
  6. alekwuy

    alekwuy Client

    Joined:
    Apr 6, 2013
    Messages:
    1,625
    Likes Received:
    447
    а как ты в файл записываешь?
     
  7. keltuzhaknut

    keltuzhaknut Client

    Joined:
    Feb 24, 2016
    Messages:
    221
    Likes Received:
    2
  8. alekwuy

    alekwuy Client

    Joined:
    Apr 6, 2013
    Messages:
    1,625
    Likes Received:
    447

Пользователи просматривающие тему (Пользователей: 0, Гостей: 0)