Жовтневі AIELO / ELO-рейтинги українських сеошників видають смак автора за незалежну оцінку. Але незалежною оцінкою в жодному з них і не пахне. Автор сам обирає кандидатів, критерії й ваги, ставить у список себе, а бали за його правилами виставляє Claude. Запитів до моделі і самих прогонів не опублікував жоден з авторів, тож повторити їхні розрахунки неможливо. Станіслав Бахарєв подбав про себе двічі: поставив себе на четверте місце у своєму AIELO-рейтингу і не обтяжив читачів інформацією, що IT Рейтинг, де той вийшов, — його власне видання. Три такі рейтинги розставили тих самих людей так по-різному, що у двох парах із трьох у топ-10 немає жодного спільного імені. Завтра SEO Baza опублікує власний рейтинг, відкрито редакційний і без ELO, але навіть він буде зроблений набагато краще.
Говорити про такі рейтинги я можу, бо сама оцінюю роботу SEO-фахівців і команд. П'ятий рік я суддя міжнародних SEO-нагород UK, European, Global і US Search Awards, де критерії оцінки напрацьовували роками, і знаю, як виглядає оцінювання, у якому автор не підганяє правила під себе.
Нижче йдеться про три рейтинги.
- Рейтинг Олексія Матузного на 224 людини.
- Ukrainian SEO 100 від Олександра Заходи.
- SEO AIELO 100 на IT Рейтингу, методологію якого написав Станіслав Бахарєв.
Захода пише, що взяв за зразок ELO-рейтинг топ-100 сеошників світу, який Charles Floate склав за допомогою Claude. Floate прибрав себе зі свого рейтингу, але саме цього ніхто з українських авторів не повторив: усі троє посоромились виключити себе з власних списків.
Як працює ELO
Систему ELO придумали для шахів, і рейтинг у ній рахується тільки з результатів реальних партій. Перед кожною партією система за різницею рейтингів рахує, з якою ймовірністю переможе кожен гравець. При рівних рейтингах шанси 50 на 50, а гравець, у якого на 400 пунктів більше, виграє приблизно в 91% випадків. Після партії рейтинг змінюється на різницю між реальним результатом і прогнозом, тому очікувана перемога над слабшим приносить кілька пунктів, а несподівана перемога над сильнішим приносить багато. У статті Вікіпедії про систему ELO є приклад шахіста, який виграв кілька партій і все одно втратив рейтинг, бо набрав менше очок, ніж передбачала система.
З цього механізму випливають усі переваги ELO.
- Ніхто не може додати чи зняти гравцеві пункти на власний розсуд, зміну рейтингу після кожної партії рахує формула.
- Перемога над сильним суперником важить більше за перемогу над слабким.
- Помилка виправляється сама. Гравець із завищеним рейтингом почне програвати тим, кого мав би обігрувати, і за кілька партій опуститься до свого справжнього рівня.
- Рейтинг передбачає результат наступної партії, і цей прогноз щоразу перевіряє сама гра.
- Формула проста, тому будь-хто може перерахувати рейтинг вручну.
Через ці переваги ELO та її різновиди використовують у шахах, у рейтингах футбольних збірних і в онлайн-іграх.
Слабкі місця ELO навіть у шахах
Навіть із реальними партіями ELO має обмеження, і всі вони пов'язані з тим, скільки і з ким людина зіграла.
- Системі потрібні десятки партій. Рейтинг новачка неточний, поки він не награє достатньо ігор.
- Число має сенс тільки всередині свого пулу гравців, тому 1800 в одній системі нічого не кажуть про силу в іншій.
- Наскільки сильно одна партія зсуває рейтинг, вирішує організатор, і від цього вибору залежить, як швидко гравці міняються місцями.
- Гравець, який перестав грати, зберігає старий рейтинг, хоча його рівень за цей час міг змінитися.
- Система бачить тільки перемоги в конкретній грі і нічого не знає про те, як гравець навчає інших чи аналізує партії.
Чому для сеошників ELO не підходить
Сеошники між собою не грають, тому автори рейтингів вигадують результат кожного матчу самі, і з переваг ELO не лишається жодної.
- Олексій Матузний спершу рахує кожній людині бал за своїми критеріями, а потім у кожній парі оголошує переможцем того, у кого бал вищий. Якщо різниця 30 балів або більше, перемога повна. На сторінці рейтингу він сам наводить кореляцію 0,9996 між звичайною зваженою сумою балів і фінальним ELO, отже 14 993 віртуальні матчі майже нічого не змінили в порядку списку.
- Олександр Захода розставляє людей за зваженим балом своїх критеріїв і використовує ELO лише для близьких порівнянь.
- Станіслав Бахарєв рахує AI ELO за відповідями ChatGPT, Perplexity, Google AI Mode і Gemini. Коли двох людей назвали в одній відповіді, перемогу отримує той, кого назвали вище, хоча порядок імен у відповіді чатбота змінюється від запуску до запуску і ніхто не задумував його як оцінку. Цей показник дає 15% підсумкового балу.
Результат кожного такого матчу заздалегідь визначають критерії автора, тому прогноз нема з чим звірити і рейтинг не може виправити сам себе. Слабкі місця ELO натомість лишаються всі: число повністю залежить від того, кого автор узяв у пул, і від того, як сильно він дозволив матчам рухати рейтинг. ELO в таких списках переписує бал за критеріями в шаховому масштабі, і через це 1823 і 1822 на першому й другому місці в Матузного виглядають як точне вимірювання, хоча для власного 18-го місця він сам вказує похибку ±37 пунктів.
Те, що автори називають доказами, доказами не є
Автори обіцяють оцінювати тільки докази роботи, але жоден з них не бачив ні даних клієнтів, ні доступу до Search Console проєктів, ні підтверджених результатів від замовників. Доказом у цих рейтингах вважається будь-яка сторінка, яку мовна модель знайшла в інтернеті: біо, кейс на власному сайті, програма конференції, відгук на біржі.
IT Рейтинг зараховує як підтвердження скрін Search Console, Google Analytics чи Ahrefs, який людина сама виклала на свій сайт або сайт своєї агенції. Цифри без назви проєкту отримують половину балу, і навіть голе твердження без жодного підтвердження приносить 30% балу. Якщо сторонню сторінку не вдалося відкрити, заяву людини про себе однаково зараховують з мінімальним коефіцієнтом.
Матузний називає доказами 3 273 датовані записи, які зібрав його агент. Після другої перевірки він вніс у них 920 правок, тобто перша версія помилялася більш ніж у чверті записів. Перевіряла їх та сама мовна модель, і сам Матузний описує це як перевірку агентом сім разів по колу.
Що саме міряє такий підхід, Матузний теж пише сам. Те, що він називає якістю доказів, корелює з ELO на рівні 0,78, тобто приблизно 61% різниці між місцями пояснює кількість матеріалів про людину, які можна знайти в інтернеті. Від решти топ-50 найбільше відрізняються AI-пошуком, динамікою і визнанням колег. Результати роботи дають найменшу різницю. Сильний фахівець, який тишком-нишком працює на клієнтів під NDA і рубає собі капусту на Мальдівах, поки невдахи рубаються в рейтингах, у такому рейтингу опиняється внизу, і Матузний попереджає про це сам.
Критерії, кандидатів і власне місце обирає автор
На міжнародних SEO-нагородах, які я суджу, суддя не може включити до конкурсу себе, своїх колег чи будь-кого афілійованого з собою. У рейтингах сеошників автор пише критерії, обирає кандидатів і стоїть у списку сам.
Ваги критеріїв у кожного автора свої. Результатам, які автори називають підтвердженими, IT Рейтинг дає 25% ваги, Захода 35%, Матузний 20%. Згадки в чатботах важать по 15% в IT Рейтингу і в Матузного. У формулі Заходи їх немає зовсім. Трафік особистого сайту за Ahrefs додає 10% балу тільки на IT Рейтингу. Ніхто з трьох не показав, як зміниться порядок, якщо ці ваги трохи посунути.
Список кандидатів вирішує результат ще до будь-якої оцінки. Матузний почав з 272 імен, яких знайшов за 16 проходів пошуку. IT Рейтинг почав з 634 профілів і за власним правилом виключив Tim Soulo, який у Матузного п'ятий. Людина, якої пошук не знайшов, отримує нуль за всіма критеріями, і скільки сильних фахівців випало таким чином, з рейтингу не дізнатися.
Кожен автор сміливо ставить себе у власний рейтинг.
| Автор | Рейтинг Матузного | Рейтинг Заходи | IT Рейтинг |
|---|---|---|---|
| Олексій Матузний | 18 | 2 | 22 |
| Олександр Захода | 31 | 22 | 59 |
| Станіслав Бахарєв | 39 | ¯\_(ツ)_/¯ | 4 |
Найскромніший серед трьох Олексій Матузний. У власному рейтингу він лише 18-й, хоча в рейтингу Заходи другий. Одразу видно по-справжньому найкращого SEOшника.
Перевірити, що своє місце автор отримав за тими самими правилами, неможливо, бо запитів до моделі і самих прогонів не опублікував ніхто з трьох. Матузний у картці кожної людини показує розклад балу, короткий висновок і кілька посилань, але повного списку з 3 273 записів там немає. Захода публікує методику і підсумкові бали. Відкритих даних IT Рейтингу, на які посилається сторінка рейтингу, знайти не вдалося.
Найсміливіший серед трьох Станіслав Бахарєв. IT Рейтинг — це його власна платформа, Станіслав її засновник і керівник, так написано на сторінці IT Рейтингу в LinkedIn. На своїй платформі він опублікував рейтинг, у якому сам четвертий загалом, перший у локальному SEO і третій в AI-пошуку. У розкритті інтересів під рейтингом Станіслав назвав себе лише приватним SEO-спеціалістом, пов'язаним з платформою, і про те, що платформа його, там ні слова. Підписано рейтинг безіменним профілем Частный SEO специалист, який Станіслав указує серед власних сторінок на своєму сайті.
Список, де автор стоїть поруч із найвідомішими сеошниками країни, працює на нього у видачі за запитами на кшталт найкращі SEO-спеціалісти України. Слово ELO і згадка Claude роблять цей список схожим на незалежне обчислення.
Три рейтинги тих самих людей не збігаються
Якщо рейтинг відображає вибір автора, то три рейтинги від трьох авторів мають розставити тих самих людей по-різному, і саме це сталося. Два термометри в одній склянці води показують однакову температуру, тому ми звели три списки за іменами й порахували, наскільки збігаються місця.
- Матузний і IT Рейтинг мають 73 спільні імені, кореляція місць 0,60, у топ-10 троє спільних.
- Матузний і Захода мають 65 спільних імен, кореляція 0,46, спільних імен у топ-10 немає.
- IT Рейтинг і Захода мають 51 спільне ім'я, кореляція 0,22, спільних імен у топ-10 немає.
Кореляція 1 означає повний збіг порядку, нуль означає, що зв'язку між списками немає. Два інструменти, які міряють одне й те саме, дають 0,9 і вище.
У всіх трьох списках є 44 людини, і між найкращим і найгіршим місцем кожної з них у середньому 37 позицій.
- Я перша в Матузного, 25-та на IT Рейтингу і 41-ша в Заходи.
- Сергій Безбородов перший на IT Рейтингу, другий у Матузного і 28-й у Заходи.
- Михайло Сорвачов перший у Заходи і 62-й на IT Рейтингу. Серед 224 імен Матузного його немає взагалі.
- Володимир Аксьонов шостий у Заходи, 63-й на IT Рейтингу і 157-й у Матузного.
- Роман Рогоза десятий у Заходи, 57-й на IT Рейтингу і 122-й у Матузного.
Досить поміняти автора, і та сама людина переїжджає на 40 місць.
У рейтингу Charles Floate ті самі проблеми
Сам рейтинг Charles Floate теж не показує, хто найкращий, і це видно з його власного графіка. Біля кожної людини на графіку є лінія, у межах якої з імовірністю 90% знаходиться її справжній бал. Лінії людей з першого по дев'яте місце перекриваються, тож за даними самого графіка Mike King на першому місці нічим не відрізняється від Dan Petrovic і решти дев'ятки.
Крапки першої четвірки стоять на правому краї своїх ліній. Отже, більшість повторних перерахунків ставила цих людей нижче, і в рейтинг потрапив найвдаліший для них результат.
Рубрики теж суперечать загальному місцю. Tom Anthony другий у технічному SEO і 95-й загалом, Elias Dabbas десятий у технічному SEO і 106-й загалом, Xibeijia Guan десята в AI SEO і 101-ша загалом, тобто поза топ-100, з якою вітає допис.
Чому рейтинг сеошників неможливо порахувати
- Результати роботи сеошника закриті. Трафік і позиції клієнтів захищені NDA. Публічний слід залежить від того, скільки людина пише, якою мовою і що їй дозволяє роботодавець.
- Рейтинг нема з чим звірити. У шахах є партії, у продажах є виручка. Жоден з авторів рейтингів сеошників не перевірив, чи місце в його списку хоч щось передбачає.
- Опублікована методика одразу стає інструкцією з маніпулювання: викласти кейси зі скрінами Search Console, писати про AI-пошук і потрапити в чужі добірки.
Яким буде рейтинг SEO Baza
Завтра SEO Baza опублікує власний рейтинг сеошників. ELO, віртуальних матчів і балів від мовної моделі в ньому не буде. Це редакційний вибір SEO Baza за нашими критеріями, і саме так він і називатиметься.