feat: update script add copy on excel format
This commit is contained in:
parent
acee37e1af
commit
5a3a5b3f0b
@ -1,229 +1,158 @@
|
|||||||
// ==UserScript==
|
// ==UserScript==
|
||||||
// @name Yandex Promo Links Collector (Multi-Query Console Version)
|
// @name Yandex Promo + Direct Links Collector
|
||||||
// @namespace yandex.console.collector.promo.multi
|
// @namespace yandex.console.collector.promo.multi
|
||||||
// @version 1.2
|
// @version 2.0
|
||||||
// @description Собирает промо ссылки из выдачи Яндекса для нескольких запросов — версия для Tampermonkey (единый вывод)
|
// @description Собирает промо-ссылки и прямые ссылки на сайты рекламодателей из выдачи Яндекса
|
||||||
// @match https://yandex.ru/search/*
|
// @match https://yandex.ru/search/*
|
||||||
// @match https://www.yandex.ru/search/*
|
// @match https://www.yandex.ru/search/*
|
||||||
// @match https://yandex.com/search/*
|
// @match https://yandex.com/search/*
|
||||||
// @grant GM_xmlhttpRequest
|
// @grant GM_xmlhttpRequest
|
||||||
// @connect yandex.ru
|
// @grant GM_setClipboard
|
||||||
// @connect yandex.com
|
// @connect yandex.ru
|
||||||
// @run-at document-idle
|
// @connect yandex.com
|
||||||
|
// @connect *
|
||||||
|
// @run-at document-idle
|
||||||
// ==/UserScript==
|
// ==/UserScript==
|
||||||
(function() {
|
(function () {
|
||||||
'use strict';
|
'use strict';
|
||||||
const QUERIES = [
|
|
||||||
|
|
||||||
'купить Belgee в Нижнем Новгороде',
|
const BRANDS = ['Belgee', 'Haval', 'Chery', 'Geely', 'Changan', 'Exeed', 'Omoda',
|
||||||
'купить бу Belgee в Нижнем Новгороде',
|
'Jaecoo', 'Tank', 'Jetour', 'Forthing', 'BAIC', 'Dongfeng', 'Hongqi'];
|
||||||
'купить в Нижнем Новгороде бу Belgee ',
|
const REGIONS = ['Спб', 'Ленинградской области', 'Нижнем Новгороде'];
|
||||||
'купить в Нижнем Новгороде Belgee ',
|
const QUERIES = [];
|
||||||
|
for (const r of REGIONS) {
|
||||||
'купить Haval в Нижнем Новгороде',
|
for (const b of BRANDS) {
|
||||||
'купить бу Haval в Нижнем Новгороде',
|
QUERIES.push(
|
||||||
'купить в Нижнем Новгороде бу Haval ',
|
`купить ${b} в ${r}`,
|
||||||
'купить в Нижнем Новгороде Haval ',
|
`купить бу ${b} в ${r}`,
|
||||||
|
`купить в ${r} бу ${b}`,
|
||||||
'купить Chery в Нижнем Новгороде',
|
`купить в ${r} ${b}`,
|
||||||
'купить бу Chery в Нижнем Новгороде',
|
);
|
||||||
'купить в Нижнем Новгороде бу Chery ',
|
|
||||||
'купить в Нижнем Новгороде Chery ',
|
|
||||||
|
|
||||||
'купить Geely в Нижнем Новгороде',
|
|
||||||
'купить бу Geely в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу Geely ',
|
|
||||||
'купить в Нижнем Новгороде Geely ',
|
|
||||||
|
|
||||||
'купить Changan в Нижнем Новгороде',
|
|
||||||
'купить бу Changan в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу Changan ',
|
|
||||||
'купить в Нижнем Новгороде Changan ',
|
|
||||||
|
|
||||||
'купить Exeed в Нижнем Новгороде',
|
|
||||||
'купить бу Exeed в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу Exeed ',
|
|
||||||
'купить в Нижнем Новгороде Exeed ',
|
|
||||||
|
|
||||||
'купить Omoda в Нижнем Новгороде',
|
|
||||||
'купить бу Omoda в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу Omoda ',
|
|
||||||
'купить в Нижнем Новгороде Omoda ',
|
|
||||||
|
|
||||||
'купить Jaecoo в Нижнем Новгороде',
|
|
||||||
'купить бу Jaecoo в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу Jaecoo ',
|
|
||||||
'купить в Нижнем Новгороде Jaecoo ',
|
|
||||||
|
|
||||||
'купить Tank в Нижнем Новгороде',
|
|
||||||
'купить бу Tank в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу Tank ',
|
|
||||||
'купить в Нижнем Новгороде Tank ',
|
|
||||||
|
|
||||||
'купить Jetour в Нижнем Новгороде',
|
|
||||||
'купить бу Jetour в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу Jetour ',
|
|
||||||
'купить в Нижнем Новгороде Jetour ',
|
|
||||||
|
|
||||||
'купить Forthing в Нижнем Новгороде',
|
|
||||||
'купить бу Forthing в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу Forthing ',
|
|
||||||
'купить в Нижнем Новгороде Forthing ',
|
|
||||||
|
|
||||||
'купить BAIC в Нижнем Новгороде',
|
|
||||||
'купить бу BAIC в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу BAIC ',
|
|
||||||
'купить в Нижнем Новгороде BAIC ',
|
|
||||||
|
|
||||||
'купить Dongfeng в Нижнем Новгороде',
|
|
||||||
'купить бу Dongfeng в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу Dongfeng ',
|
|
||||||
'купить в Нижнем Новгороде Dongfeng ',
|
|
||||||
|
|
||||||
'купить Hongqi в Нижнем Новгороде',
|
|
||||||
'купить бу Hongqi в Нижнем Новгороде',
|
|
||||||
'купить в Нижнем Новгороде бу Hongqi ',
|
|
||||||
'купить в Нижнем Новгороде Hongqi ',
|
|
||||||
];
|
|
||||||
const MAX_PAGES_PER_QUERY = 3;
|
|
||||||
const PAGE_DELAY_MS = 500;
|
|
||||||
const QUERY_DELAY_MS = 1000;
|
|
||||||
|
|
||||||
var allLinks = [];
|
|
||||||
var uniqueLinks = new Set();
|
|
||||||
var baseUrl = window.location.origin;
|
|
||||||
|
|
||||||
function cleanUrl(url) {
|
|
||||||
try {
|
|
||||||
var urlObj = new URL(url);
|
|
||||||
urlObj.searchParams.delete('primary_reqid');
|
|
||||||
urlObj.searchParams.delete('rnd');
|
|
||||||
urlObj.searchParams.delete('reqid');
|
|
||||||
return urlObj.toString();
|
|
||||||
} catch (e) {
|
|
||||||
return url;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
function processPage(doc, queryLinks) {
|
|
||||||
var nodes = doc.querySelectorAll('li.serp-item a[href]');
|
|
||||||
var pageLinks = [];
|
|
||||||
for (var i = 0; i < nodes.length; i++) {
|
|
||||||
var href = nodes[i].getAttribute('href');
|
|
||||||
if (href && href.startsWith('https://yabs.yandex.ru')) {
|
|
||||||
var fullUrl = href.startsWith('http') ? href : baseUrl + href;
|
|
||||||
var cleanedUrl = cleanUrl(fullUrl);
|
|
||||||
if (!uniqueLinks.has(cleanedUrl)) {
|
|
||||||
uniqueLinks.add(cleanedUrl);
|
|
||||||
pageLinks.push(cleanedUrl);
|
|
||||||
queryLinks.push(cleanedUrl);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return pageLinks.length;
|
|
||||||
}
|
|
||||||
function getNextPageUrl(doc) {
|
|
||||||
var nextBtn = doc.querySelector('a.Pager-Item_type_next');
|
|
||||||
if (!nextBtn) {
|
|
||||||
nextBtn = doc.querySelector('a[aria-label="Следующая страница"]');
|
|
||||||
}
|
|
||||||
if (nextBtn) {
|
|
||||||
var href = nextBtn.getAttribute('href');
|
|
||||||
if (href) {
|
|
||||||
return href.startsWith('http') ? href : baseUrl + href;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return null;
|
|
||||||
}
|
|
||||||
async function processQuery(query) {
|
|
||||||
var queryLinks = [];
|
|
||||||
var pagesProcessed = 0;
|
|
||||||
var searchUrl = `${baseUrl}/search/?text=${encodeURIComponent(query)}`;
|
|
||||||
try {
|
|
||||||
var html = await gmFetch(searchUrl);
|
|
||||||
var parser = new DOMParser();
|
|
||||||
var doc = parser.parseFromString(html, 'text/html');
|
|
||||||
processPage(doc, queryLinks);
|
|
||||||
pagesProcessed++;
|
|
||||||
var nextUrl = getNextPageUrl(doc);
|
|
||||||
while (nextUrl && pagesProcessed < MAX_PAGES_PER_QUERY) {
|
|
||||||
await new Promise(r => setTimeout(r, PAGE_DELAY_MS));
|
|
||||||
html = await gmFetch(nextUrl);
|
|
||||||
doc = parser.parseFromString(html, 'text/html');
|
|
||||||
processPage(doc, queryLinks);
|
|
||||||
pagesProcessed++;
|
|
||||||
nextUrl = getNextPageUrl(doc);
|
|
||||||
}
|
|
||||||
console.log(`[Запрос: "${query}"] Обработано страниц: ${pagesProcessed}, промо ссылок: ${queryLinks.length}`);
|
|
||||||
allLinks.push(queryLinks.join('\n'));
|
|
||||||
} catch (error) {
|
|
||||||
console.error(`❌ Ошибка для запроса "${query}":`, error);
|
|
||||||
}
|
|
||||||
return queryLinks.length;
|
|
||||||
}
|
|
||||||
function gmFetch(url) {
|
|
||||||
return new Promise((resolve, reject) => {
|
|
||||||
GM_xmlhttpRequest({
|
|
||||||
method: 'GET',
|
|
||||||
url: url,
|
|
||||||
headers: {
|
|
||||||
'User-Agent': navigator.userAgent,
|
|
||||||
'Referer': baseUrl
|
|
||||||
},
|
|
||||||
onload: (response) => {
|
|
||||||
if (response.status >= 200 && response.status < 300) {
|
|
||||||
resolve(response.responseText);
|
|
||||||
} else {
|
|
||||||
reject(new Error(`HTTP ${response.status}`));
|
|
||||||
}
|
|
||||||
},
|
|
||||||
onerror: (err) => reject(err),
|
|
||||||
ontimeout: (err) => reject(new Error('Timeout'))
|
|
||||||
});
|
|
||||||
});
|
|
||||||
}
|
|
||||||
function copyToClipboard(text) {
|
|
||||||
if (navigator.clipboard && window.isSecureContext) {
|
|
||||||
return navigator.clipboard.writeText(text);
|
|
||||||
}
|
|
||||||
return new Promise((resolve, reject) => {
|
|
||||||
try {
|
|
||||||
var textarea = document.createElement('textarea');
|
|
||||||
textarea.value = text;
|
|
||||||
textarea.style.position = 'fixed';
|
|
||||||
textarea.style.left = '-9999px';
|
|
||||||
document.body.appendChild(textarea);
|
|
||||||
textarea.focus();
|
|
||||||
textarea.select();
|
|
||||||
var success = document.execCommand('copy');
|
|
||||||
document.body.removeChild(textarea);
|
|
||||||
success ? resolve() : reject();
|
|
||||||
} catch (e) {
|
|
||||||
reject(e);
|
|
||||||
}
|
|
||||||
});
|
|
||||||
}
|
}
|
||||||
|
}
|
||||||
|
const MAX_PAGES_PER_QUERY = 3;
|
||||||
|
const PAGE_DELAY_MS = 800;
|
||||||
|
const QUERY_DELAY_MS = 1500;
|
||||||
|
const RESOLVE_REDIRECTS = false; // true = переходить по yabs (это клик по рекламе!)
|
||||||
|
|
||||||
console.log(`🚀 Запуск сбора промо ссылок для ${QUERIES.length} запросов (макс. страниц на запрос: ${MAX_PAGES_PER_QUERY})...`);
|
const baseUrl = location.origin;
|
||||||
(async function run() {
|
const rows = [];
|
||||||
var totalLinks = 0;
|
const seen = new Set();
|
||||||
for (let i = 0; i < QUERIES.length; i++) {
|
|
||||||
if (i > 0) await new Promise(r => setTimeout(r, QUERY_DELAY_MS));
|
|
||||||
totalLinks += await processQuery(QUERIES[i]);
|
|
||||||
}
|
|
||||||
|
|
||||||
console.log('\n' + '='.repeat(50));
|
const sleep = ms => new Promise(r => setTimeout(r, ms));
|
||||||
console.log(`✅ СБОР ЗАВЕРШЁН`);
|
|
||||||
console.log(`📄 Запросов обработано: ${QUERIES.length}`);
|
function cleanUrl(url) {
|
||||||
console.log(`🔗 Промо ссылок собрано всего: ${totalLinks}`);
|
try {
|
||||||
console.log('='.repeat(50) + '\n');
|
const u = new URL(url, baseUrl);
|
||||||
if (totalLinks > 0) {
|
['primary_reqid', 'rnd', 'reqid'].forEach(p => u.searchParams.delete(p));
|
||||||
var outputText = allLinks.join('\n');
|
return u.toString();
|
||||||
console.log(outputText);
|
} catch { return url; }
|
||||||
await copyToClipboard(outputText);
|
}
|
||||||
console.log('\n✅ Все промо ссылки (с разделителями по запросам) скопированы в буфер обмена!');
|
|
||||||
console.log('💡 Нажмите Ctrl+V в любом месте для вставки');
|
function gmFetch(url, extra = {}) {
|
||||||
} else {
|
return new Promise((resolve, reject) => {
|
||||||
console.log('⚠️ Промо ссылки не найдены');
|
GM_xmlhttpRequest({
|
||||||
}
|
method: 'GET', url, timeout: 15000,
|
||||||
})();
|
headers: { 'User-Agent': navigator.userAgent, 'Referer': baseUrl },
|
||||||
|
...extra,
|
||||||
|
onload: r => (r.status >= 200 && r.status < 400) ? resolve(r) : reject(new Error('HTTP ' + r.status)),
|
||||||
|
onerror: reject,
|
||||||
|
ontimeout: () => reject(new Error('Timeout')),
|
||||||
|
});
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
// Рекламный ли блок: старое слово «Промо/Реклама», новый значок-стрелка или yabs-ссылка
|
||||||
|
function isPromo(item) {
|
||||||
|
if (item.querySelector('.AdvLabel, .OrganicAdvLabel, .AdvLabel-Icon, [aria-label="Промо"], [aria-label="Реклама"]')) return true;
|
||||||
|
const t = item.querySelector('.AdvLabel-Text, .Label');
|
||||||
|
return !!(t && /^(Промо|Реклама)$/i.test(t.textContent.trim()));
|
||||||
|
}
|
||||||
|
|
||||||
|
// Прямой адрес сайта из видимой строки адреса под заголовком
|
||||||
|
function extractDirect(item) {
|
||||||
|
const pathItem = item.querySelector('.Organic-Path .Path-Item, .Path .Path-Item');
|
||||||
|
const pathText = (item.querySelector('.Organic-Path, .Path') || pathItem || {}).textContent || '';
|
||||||
|
const display = pathText.replace(/\s+/g, ' ').trim();
|
||||||
|
// домен — первая часть строки адреса до « › »
|
||||||
|
const host = ((pathItem ? pathItem.textContent : display).split('›')[0] || '').trim().toLowerCase();
|
||||||
|
if (/^([a-zа-яё0-9-]+\.)+[a-zа-яё]{2,}$/i.test(host)) return { direct: 'https://' + host, display };
|
||||||
|
// запасной вариант: прямая не-яндексовая ссылка в блоке
|
||||||
|
for (const a of item.querySelectorAll('a[href^="http"]')) {
|
||||||
|
const h = a.getAttribute('href');
|
||||||
|
if (!/yandex\.|yabs\.|ya\.ru/.test(h)) return { direct: h, display };
|
||||||
|
}
|
||||||
|
return { direct: '', display };
|
||||||
|
}
|
||||||
|
|
||||||
|
function getDomain(url) {
|
||||||
|
try { return new URL(url).hostname.replace(/^www\./, ''); } catch { return ''; }
|
||||||
|
}
|
||||||
|
|
||||||
|
async function resolveYabs(url) {
|
||||||
|
try { const r = await gmFetch(url); return r.finalUrl || ''; } catch { return ''; }
|
||||||
|
}
|
||||||
|
|
||||||
|
async function processPage(doc, query, page) {
|
||||||
|
const items = doc.querySelectorAll('li.serp-item');
|
||||||
|
let pos = 0, found = 0;
|
||||||
|
for (const item of items) {
|
||||||
|
pos++;
|
||||||
|
if (!isPromo(item)) continue;
|
||||||
|
const promoA = item.querySelector('a[href*="yabs.yandex."]');
|
||||||
|
const promo = promoA ? cleanUrl(promoA.getAttribute('href')) : '';
|
||||||
|
let { direct, display } = extractDirect(item);
|
||||||
|
if (!direct && promo && RESOLVE_REDIRECTS) {
|
||||||
|
direct = await resolveYabs(promo);
|
||||||
|
await sleep(500);
|
||||||
|
}
|
||||||
|
const key = getDomain(direct) || promo;
|
||||||
|
if (!key || seen.has(query + '|' + key)) continue;
|
||||||
|
seen.add(query + '|' + key);
|
||||||
|
const title = (item.querySelector('h2, .OrganicTitle-LinkText') || {}).textContent || '';
|
||||||
|
rows.push([query, page, pos, getDomain(direct), title.trim(), display, direct, promo]);
|
||||||
|
found++;
|
||||||
|
}
|
||||||
|
return found;
|
||||||
|
}
|
||||||
|
|
||||||
|
function getNextPageUrl(doc) {
|
||||||
|
const a = doc.querySelector('a.Pager-Item_type_next, a[aria-label="Следующая страница"]');
|
||||||
|
const h = a && a.getAttribute('href');
|
||||||
|
return h ? new URL(h, baseUrl).toString() : null;
|
||||||
|
}
|
||||||
|
|
||||||
|
async function processQuery(query) {
|
||||||
|
let url = `${baseUrl}/search/?text=${encodeURIComponent(query)}`;
|
||||||
|
let page = 0, total = 0;
|
||||||
|
const parser = new DOMParser();
|
||||||
|
try {
|
||||||
|
while (url && page < MAX_PAGES_PER_QUERY) {
|
||||||
|
if (page) await sleep(PAGE_DELAY_MS);
|
||||||
|
const html = (await gmFetch(url)).responseText;
|
||||||
|
if (/showcaptcha|checkcaptcha/i.test(html)) { console.warn('⚠️ Капча на запросе:', query); break; }
|
||||||
|
const doc = parser.parseFromString(html, 'text/html');
|
||||||
|
page++;
|
||||||
|
total += await processPage(doc, query, page);
|
||||||
|
url = getNextPageUrl(doc);
|
||||||
|
}
|
||||||
|
console.log(`[${query}] страниц: ${page}, рекламных сайтов: ${total}`);
|
||||||
|
} catch (e) { console.error(`❌ ${query}:`, e); }
|
||||||
|
return total;
|
||||||
|
}
|
||||||
|
|
||||||
|
(async function run() {
|
||||||
|
console.log(`🚀 Запросов: ${QUERIES.length}, страниц на запрос: ${MAX_PAGES_PER_QUERY}`);
|
||||||
|
for (let i = 0; i < QUERIES.length; i++) {
|
||||||
|
if (i) await sleep(QUERY_DELAY_MS);
|
||||||
|
await processQuery(QUERIES[i]);
|
||||||
|
}
|
||||||
|
const header = ['Запрос', 'Стр', 'Поз', 'Домен', 'Заголовок', 'Видимый адрес', 'Прямая ссылка', 'Промо-ссылка'];
|
||||||
|
const tsv = [header, ...rows].map(r => r.map(c => String(c).replace(/[\t\n]/g, ' ')).join('\t')).join('\n');
|
||||||
|
console.table(rows.map(r => ({ Запрос: r[0], Домен: r[3], Прямая: r[6] })));
|
||||||
|
if (rows.length) {
|
||||||
|
GM_setClipboard(tsv, 'text');
|
||||||
|
console.log(`✅ Найдено ${rows.length}. Таблица в буфере, вставьте в Excel/Google Таблицы (Ctrl+V)`);
|
||||||
|
} else console.log('⚠️ Рекламных блоков не найдено');
|
||||||
|
})();
|
||||||
})();
|
})();
|
||||||
Loading…
Reference in New Issue
Block a user