Движки

[Bulldozer]

Участник @комс написал в Движки:

поищи в инете тест "ночной кошмар II", не помню, как по-английски
Там есть даже поза из Полугаевский - Торре, 1982

Или завтра скину
Но оболочка Фритц будет нужна, как ни крути

Запустил в пакетном режиме (помнишь, для тебя делал? - пригодился) все 30 задач оттуда, по 7 минут на каждую. Когда отработает, проверю сколько правильных решений. Потом будем и другие сетки так проверять, и другие настройки.

[Bulldozer]

Updated
Есть тесты Кошмар-2 (по наводке @Комс), которые якобы плохо решаются движками. Давайте посмотрим.
Прогнал эти тесты на четырёх движках: LC0 с тремя разными нейросетями и Stockfish 10.
Сетки, начинающиеся на J, больше по размеру, чем на T, и работают медленнее. Теоретически должны давать оценку лучше.
На решение отводилось 5 минут на каждую задачу. В таблице отмечено, кто решил или не решил соответствующие задачи. Если стоит смайлик, значит движок выбился из общей тенденции в хорошую либо плохую сторону.

Position #	LC0: T40B.4-260	LC0: J13-410	LC0: J13B.2-136	Stockfish 10
1	+	+	+	-
2	-	-	-	-
3	-	-	-	-
4	+	+	+	+
5	+	+	+	+
6	+	+	+	+
7	+	+	+	-
8	-	-	-	-
9	+	-	+	-
10	-	-	-	-
11	-	-	+	-
12	-	-	-	+
13	-	-	-	-
14	+	+	+	+
15	-	-	-	-
16	-	-	-	+
17	+	+	+	-
18	-	-	-	-
19	-	+	+	-
20	+	+	+	+
21	-	-	-	-
22	-	-	-	-
23	-	-	-	-
24	-	-	-	+
25	+	+	+	+
26	+	+	+	+
27	+	+	+	-
28	-	-	-	-
29	+	+	+	+
30	+	+	+	-
Sum	14	14	16	11

Победу одержала сеть J13B.2-136.

Примечания

Задачи эти надо ещё проверять. Далеко не во всех я уверен. Впрочем, это, наверное, не так важно.

Интересно будет ещё Стокфиш прогнать. Прогнал.

Железо: RTX 2060 для LC0 и Core i7-9750H для Stockfish.
Для Stockfish включал 10 процессорных тредов из 12.
Подключены таблицы окончаний на SSD.

[Bulldozer]

Две картинки о том, как важен параметр NNCacheSize в Лиле. Это размер кэша нейронной сети, выраженный в максимальном кол-ве сохраняемых позиций.
И почему его нельзя оставлять по умолчанию.

В первом эксперименте NNCacheSize установлен по умолчанию (200K).
Во втором эксперименте он увеличен в 100 раз и равен 20M.

В первом эксперименте кэш быстро заполнился (синяя линия), после чего скорость перебора позиций (красная линия) расти перестала, т.е., многие позиции идут на расчёт в видеокарту. Жёлтая линия - общее число просмотренных позиций - за час поднялась до 26K.

В втором эксперименте кэш даже к концу заполнился лишь на две трети (синяя линия). Скорость перебора позиций (красная линия) расти не переставала, т.е., многие позиции брались из кэша, а чем больше кэш, тем больше вероятность найти в нём позицию. Жёлтая линия - общее число просмотренных позиций - за час поднялась до 70K.

Вот так только настройкой кэша ускорили движок в 2.5 раза.

[Bulldozer]

Внёс изменения в сравнительный тест движков/сеток на задачах Кошмар-2.
Добавлен Стокфиш. Он проиграл.

[Bulldozer]

Сейчас понял, что задачи, где Стокфиш всех нагнул, имеют небольшое кол-во фигур. Примерно понятно - лучше перемалывает варианты, а в позиционных факторах менее силён.

[Bulldozer]

Позиция ближе к концу моей партии в клубе, сыгранной вчера. Не знаю, почему чёрные не сдаются, но не в этом суть, а в том, что я не очень понял анализ Лилы, см. вторую линию. А, точнее, совсем не понял.

24... Bxh3 25. gxh3 Bd8 26. Bxd8 - это зачем так? Что может сподвигнуть движок на такой кооператив?

[Комс]

желание закончить мучения...
Всё-таки искусственный интеллект ))

[Комс]

Участник @bulldozer написал в Движки:

Есть тесты Кошмар-2 (по наводке @Комс), которые якобы плохо решаются движками. Давайте посмотрим.
Прогнал эти тесты на четырёх движках: LC0 с тремя разными нейросетями и Stockfish 10.
Сетки, начинающиеся на J, больше по размеру, чем на T, и работают медленнее. Теоретически должны давать оценку лучше.
На решение отводилось 5 минут на каждую задачу.

Решаю: Eman 4.60 64-bit POPCNT c0:
Максимальное время = 300s.

1. Nightmare II-01 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 300s.
2. Nightmare II-02 - Springerumw, Nightmare 2 - (W.Eigenmann) > 300s.
3. Nightmare II-03 - Initiative, Nightmare 2 - (W.Eigenmann) Решен в 223.96s/37; Решен: 1
4. Nightmare II-04 - Springeropf, Nightmare 2 - (W.Eigenmann) Решен в 23.73s/27; Решен: 2
5. Nightmare II-05 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 0.84s/16; Решен: 3
6. Nightmare II-06 - Endspiel D, Nightmare 2 - (W.Eigenmann) Решен в 60.34s/37; Решен: 4
7. Nightmare II-07 - Festung, Nightmare 2 - (W.Eigenmann) > 300s.
8. Nightmare II-08 - Offene Lini, Nightmare 2 - (W.Eigenmann) > 300s.
9. Nightmare II-09 - Patt, Nightmare 2 - (W.Eigenmann) Решен в 215.08s/32; Решен: 5
10. Nightmare II-10 - Endspiel T&, Nightmare 2 - (W.Eigenmann) > 300s.
11. Nightmare II-11 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 300s.
12. Nightmare II-12 - Endspiel D&, Nightmare 2 - (W.Eigenmann) > 300s.
13. Nightmare II-13 - Koenigsangr, Nightmare 2 - (W.Eigenmann) Решен в 242.02s/39; Решен: 6
14. Nightmare II-14 - Damenopfer, Nightmare 2 - (W.Eigenmann) Решен в 56.79s/36; Решен: 7
15. Nightmare II-15 - Endspiel L, Nightmare 2 - (W.Eigenmann) > 300s.
16. Nightmare II-16 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 73.29s/33; Решен: 8
17. Nightmare II-17 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 49.42s/46; Решен: 9
18. Nightmare II-18 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 300s.
19. Nightmare II-19 - Springeropf, Nightmare 2 - (W.Eigenmann) > 300s.
20. Nightmare II-20 - Starke Feld, Nightmare 2 - (W.Eigenmann) Решен в 39.55s/32; Решен: 10
21. Nightmare II-21 - Endspiel T, Nightmare 2 - (W.Eigenmann) > 300s.
22. Nightmare II-22 - Bauernopfer, Nightmare 2 - (W.Eigenmann) > 300s.
23. Nightmare II-23 - Zugzwang, Nightmare 2 - (W.Eigenmann) > 300s.
24. Nightmare II-24 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 2.84s/25; Решен: 11
25. Nightmare II-25 - Linienoeffn, Nightmare 2 - (W.Eigenmann) Решен в 28.61s/27; Решен: 12
26. Nightmare II-26 - Raeumung, Nightmare 2 - (W.Eigenmann) > 300s.
27. Nightmare II-27 - Initiative, Nightmare 2 - (W.Eigenmann) > 300s.
28. Nightmare II-28 - Endspiel D&, Nightmare 2 - (W.Eigenmann) > 300s.
29. Nightmare II-29 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 0.58s/14; Решен: 13
30. Nightmare II-30 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 300s.

Результат: 13 из 30 = 43.3%. Среднее время = 78.23s / 30.84

[Комс]

Участник @комс написал в Движки:

Eman 4.60 64-bit POPCNT c0

контемпт нулевой, сейчас сделаю дефолтный 24

[Комс]

Участник @комс написал в Движки:

Nightmare II-29 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 0.58s/14; Решен: 13

у меня моментально, а у Буля не решил

[Комс]

Решаю: Eman 4.60 64-bit POPCNT dc24:
Максимальное время = 300s.

1. Nightmare II-01 - Koenigsangr, Nightmare 2 - (W.Eigenmann) Решен в 231.19s/37; Решен: 1
2. Nightmare II-02 - Springerumw, Nightmare 2 - (W.Eigenmann) > 300s.
3. Nightmare II-03 - Initiative, Nightmare 2 - (W.Eigenmann) > 300s.
4. Nightmare II-04 - Springeropf, Nightmare 2 - (W.Eigenmann) Решен в 14.84s/26; Решен: 2
5. Nightmare II-05 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 0.48s/14; Решен: 3
6. Nightmare II-06 - Endspiel D, Nightmare 2 - (W.Eigenmann) Решен в 231.02s/36; Решен: 4
7. Nightmare II-07 - Festung, Nightmare 2 - (W.Eigenmann) > 300s.
8. Nightmare II-08 - Offene Lini, Nightmare 2 - (W.Eigenmann) > 300s.
9. Nightmare II-09 - Patt, Nightmare 2 - (W.Eigenmann) > 300s.
10. Nightmare II-10 - Endspiel T&, Nightmare 2 - (W.Eigenmann) > 300s.
11. Nightmare II-11 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 300s.
12. Nightmare II-12 - Endspiel D&, Nightmare 2 - (W.Eigenmann) > 300s.
13. Nightmare II-13 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 300s.
14. Nightmare II-14 - Damenopfer, Nightmare 2 - (W.Eigenmann) Решен в 196.81s/37; Решен: 5
15. Nightmare II-15 - Endspiel L, Nightmare 2 - (W.Eigenmann) > 300s.
16. Nightmare II-16 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 37.66s/30; Решен: 6
17. Nightmare II-17 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 228.96s/54; Решен: 7
18. Nightmare II-18 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 300s.
19. Nightmare II-19 - Springeropf, Nightmare 2 - (W.Eigenmann) > 300s.
20. Nightmare II-20 - Starke Feld, Nightmare 2 - (W.Eigenmann) Решен в 104.30s/36; Решен: 8
21. Nightmare II-21 - Endspiel T, Nightmare 2 - (W.Eigenmann) > 300s.
22. Nightmare II-22 - Bauernopfer, Nightmare 2 - (W.Eigenmann) Решен в 204.39s/35; Решен: 9
23. Nightmare II-23 - Zugzwang, Nightmare 2 - (W.Eigenmann) > 300s.
24. Nightmare II-24 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 2.89s/23; Решен: 10
25. Nightmare II-25 - Linienoeffn, Nightmare 2 - (W.Eigenmann) Решен в 35.38s/29; Решен: 11
26. Nightmare II-26 - Raeumung, Nightmare 2 - (W.Eigenmann) Решен в 80.65s/34; Решен: 12
27. Nightmare II-27 - Initiative, Nightmare 2 - (W.Eigenmann) Решен в 181.52s/41; Решен: 13
28. Nightmare II-28 - Endspiel D&, Nightmare 2 - (W.Eigenmann) > 300s.
29. Nightmare II-29 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 1.09s/15; Решен: 14
30. Nightmare II-30 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 300s.

Результат: 14 из 30 = 46.6%. Среднее время = 110.79s / 31.92

[Комс]

один и тот же движок с разным контемптом решал разные (пусть и не совсем) кошмары, бггг
Влад, в таблицу не заноси... есть у меня подозрение, что второй круг теста даст другие результаты

[Комс]

Участник @комс написал в Движки:

тест "ночной кошмар II", не помню, как по-английски
Там есть даже поза из Полугаевский - Торре, 1982

27 поза, Эман с контемптом решил, о-О
Редкий А-В движок способен на такое!

[Bulldozer]

Участник @комс написал в Движки:

Участник @комс написал в Движки:

Nightmare II-29 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Решен в 0.58s/14; Решен: 13

у меня моментально, а у Буля не решил

У нас разные методики. Мой скрипт решает 5 минут, после чего пишет лучший ход, и я сравниваю его с ответом. У тебя решает, видимо, только до момента, когда правильный ответ впервые проскочит в анализе.

[Комс]

именно так

[Комс]

Оставлю памятку о позициях, решаемых чёрными в Ночном кошмаре - 2

7
11
13
20
21
26

чуть позже объясню зачем

[Bulldozer]

Правильно ли я понял, что T60 уже можно использовать для БА? Тут пишут, что с определёнными настройками (Cpuct, etc - что они называют Kiudee Bonus) обыграла эти движки, включая SF11, на большом контроле.

[Bulldozer]

Хочу сделать длительный тест движков на сложных задачах. Время на решение, наверное, полчаса или час - пока не знаю сколько именно лучше.
Костяк - те задачи Nightmare, которые не решаются за пять минут всеми движками. Плюс, стоит добавить ещё других. Если у вас есть что добавить, присылайте.
Тест будет проходить, прежде всего T60 - новые выходящие версии время от времени. Ещё, вероятно, Стокфиш 11.

[Комс]

на этом канале решают сложные задачи Vinvin2020

они были собраны чуваком здесь http://talkchess.com/forum3/viewtopic.php?f=2&t=72902, но Толкчесс крякнул
Если умеешь, то посмотри в кэше Гугла, я не успел скачать

[Bulldozer]

На 28 сложных заданий движку даётся полчаса на RTX 2060.

#	FEN	Source	Solution	T60-62255
1	8/3P3k/n2K3p/2p3n1/1b4N1/2p1p1P1/8/3B4 w - -	Van Breukelen	g4f6
2	5nr1/2Pp2pk/3Pp1p1/4P1P1/6P1/5K2/8/7n w - -	Nightmare II – 2	c7c8n
3	1rb2r1k/3p1pp1/p3p2p/1p2P3/4q3/1N2B1R1/PPP1N1P1/2KR1B2 w - -	Nightmare II – 3	e2f4
4	2r1k1r1/3q4/p1nBpp1p/8/B5p1/4RbK1/PP1Q1P1P/2R5 w - -	Nightmare II – 8	h2h4
5	7k/1p5p/2qpn1PP/Pp1p4/8/3B2p1/3B1pP1/R4K2 w - -	Nightmare II – 9	a5a6
6	2b1r3/r2ppN2/8/1p1p1k2/pP1P4/2P3R1/PP3PP1/2K5 w - -	Nightmare II – 10	f7d6
7	4K2k/1pQp3p/1R4p1/1P4P1/8/3P3P/1q3r2/8 w - -	Nightmare II – 12	c7d8
8	2k2Br1/p6b/Pq1r4/1p2p1b1/1Ppp2p1/Q1P3N1/5RPP/R3N1K1 b - -	Nightmare II – 13	d6f6
9	4K1k1/8/1p5p/1Pp3b1/8/1P3P2/P1B2P2/8 w - -	Nightmare II – 15	f3f4
10	2r2k2/8/8/3Rp1N1/2P3K1/8/2p4B/8 w - -	Nightmare II – 16	g5e6
11	5B2/1p1nNp2/8/1P2R3/3p3q/8/p1K1P1Q1/k3b3 w - -	Nightmare II – 19	e7g6
12	1r6/4k3/r2p2p1/2pR1p1p/2P1pP1P/pPK1P1P1/P7/1B6 b - -	Nightmare II – 21	b8b3
13	r1q2rk1/ppp1bp2/6p1/3pNPn1/7p/2PP3P/P6B/1R1Q1RK1 w - -	Nightmare II – 22	f5f6
14	1k6/bPN2pp1/Pp2p3/p1p5/2pn4/3P4/PPR5/1K6 w - -	Nightmare II – 23	c7a8
15	7q/P3RP2/2p2n2/8/N7/p7/2B5/k1K2b2 w - -	Nightmare II – 24	a7a8q
16	N7/8/2KQ2rp/6k1/3p3p/2p4P/4PP2/5N2 w - -	Nightmare II – 28	f2f4
17	1k6/3p4/1B6/4Pp1p/1p5R/1p4p1/pP3n2/K6n w - -	Hard Talkchess 2020 - 7	h4h1
18	1rb1qrk1/2b2pp1/p3pBn1/3pP1Pp/1ppP4/2P1QN2/PP3P1P/R2BR1K1 w - -	Hard Talkchess 2020 - 23	f3h4
19	2bqrr1k/p5b1/1p1p2pp/nPpBp3/P1P1N2P/3PN1P1/R4P1K/3Q1R2 w - -	Hard Talkchess 2020 - 38	e4c3
20	3k4/2pq3p/pp5R/4P3/P6P/2PN4/1PN3K1/8 w - -	Hard Talkchess 2020 - 57	c2d4
21	4k1br/1K1p1n1r/2p2pN1/P2p1N2/2P3pP/5B2/P2P4/8 w - -	Hard Talkchess 2020 - 74	b7c8
22	4q1kr/p6p/1prQPppB/4n3/4P3/2P5/PP2B2P/R5K1 w - -	Hard Talkchess 2020 - 78	d6e5
23	6k1/1qr1p2p/ppN5/3p1N2/6p1/1P1P2Pp/PP2PP1P/2RK4 w - -	Hard Talkchess 2020 - 93	c6e7
24	6r1/6r1/2p1k1pp/p1pbP2q/Pp1p1PpP/1P1P2NR/1KPQ3R/8 b - -	Hard Talkchess 2020 - 97	h5f5
25	r1b2rk1/2q1bppp/p2pp3/2n3PQ/1p1BP3/1BN5/PPP2P1P/2KR2R1 w - -	Hard Talkchess 2020 - 150	d4f6
26	r1b2rk1/pp3ppp/1n2p3/3pP3/2P2B2/b1PB1qP1/P1Q1NP1P/1K1R3R w - -	Hard Talkchess 2020 - 153	e2d4
27	r3r1k1/pp1q1p2/2p2npb/PPPp1bnp/3PpN2/2N1P1PP/1R1B1PBK/3Q1R2 b - -	Hard Talkchess 2020 - 184	f5g4
28	rnb2rk1/1pq1bppp/p3p3/2npP1P1/3N1P2/2NBB3/PPP4P/R2QK2R w KQ -	Hard Talkchess 2020 - 208	d3h7