Парсинг динамически подгружаемой страницы на c#

Всем привет.

Есть у меня программа, которая парсит страницы сайта g2g.com: C# (WinForms на .Net Framework) + библиотека для парсинга Html - HtmlAgilityPack. Сайт изменили, теперь при попытке использовать программу я получаю маленький html файл с 2-мя js скриптами.

Пример страницы для парсинга: https://www.g2g.com/categories/path-of-exile-global-Item.

Полученная страница с помощью библиотеки:

<!DOCTYPE html><html><head><base href=/ ><title>G2G: World Leading Digital Marketplace Platform</title><meta charset=utf-8><meta name=description content="Buy & Sell In-Game Items, Game Accounts, Game Coaching, Game skins, Gift cards securely with ease. Lowest price from
    thousands of reputable sellers & fastest delivery in the industry."><meta name=format-detection content="telephone=no"><meta name=msapplication-tap-highlight content=no><meta name=viewport content="user-scalable=no,initial-scale=1,maximum-scale=1,minimum-scale=1,width=device-width"><link rel=icon type=image/png sizes=128x128 href=icons/favicon-128x128.png><link rel=icon type=image/png sizes=96x96 href=icons/favicon-96x96.png><link rel=icon type=image/png sizes=32x32 href=icons/favicon-32x32.png><link rel=icon type=image/png sizes=16x16 href=icons/favicon-16x16.png><link rel=icon type=image/ico href=favicon.ico><link rel=preconnect href=https://fonts.gstatic.com><link href=/css/vendor.3dd7ed13.css rel=stylesheet><link href=/css/app.daa3746f.css rel=stylesheet></head>
<body><div id=q-app></div><script src=/js/vendor.5f1547cb.js></script><script src=/js/app.f05434e4.js></script></body></html>

HtmlAgilityPack не умеет запускать js, она предназначена только для парсинга html.

Вопрос: а что делать-то? Эти js-скрипты меняют страницу. Сами файлы очень большие, минимизированные, наименования переменных и функций сокращены. Думаю ковыряться в них нет смысла.

Пытался применить костыли - прикрутить WebBrowser, как стандартный, так и эти https://habr.com/ru/post/170015. Ничего не вышло


Ответы (0 шт):