Задача

[Tuco]

Привет, братья по бейсику!
Сам себе придумал задачу, но не знаю, с чего даже начинать её решение. И не знаю, как вообще будет проходить всё. Нужно на экране найти прямоугольник, а внутри него, в резных местах, слова и числа. Они появляются из другой программы, а моя программа должна работать, даже не будучи в активном окне. Потому обращаюсь к вам, друзья мои. Буду благодарен за любую помощь.

[Qwertiy]

А искать окна и текст в них не подходит?
Если нужно распознать текс на картинке при известном шрифте, то наложением вполне можно решить.
Хотя бы скрин показал того, что найти надо.

[Tuco]

Спасибо за быстрый ответ, в субботу-то вечером! Как увидеть окно чужой программы?

[Qwertiy]

Перебрать окна с помощью EnumWindows, выбрать нужное по классу/заголовку/процессу. Определить его положение.

[Tuco]

а реально ли захватить весь экран и на полученной картинке найти нужное окно?

[Qwertiy]

Это не нужно. Через EnumWindows проще.

[Хакер]

• Найти нужное окно в Spy++ (или аналогичном софте).
• Посмотреть, являются ли интересующие надписи отдельными окнами (что-то вроде STATIC-ов) или же текст тупо отрисовывается (в этом случае Spy++ на месте надписей ничего не покажет).
• Если являются — получать текст из них прямо вызовом GetWindowText.
• Если не являются — программа должна работать так.

• Находим нужное окно.
• Находим процесс, владеющий окном
• Внедряемся в процесс.
• Перехватываем все API-функции, отрисовывающие текст (ExtTextOut, DrawText и т.п.)
• В перехватчике нужно определять, входят ли координаты места, в которое запрошена отрисовка, в интересующий нас прямоугольник, и если да — рапортовать основной программе.
• PROFIT!

Это метод тоже может не сработать, если программа отрисовывает текст не стандартными API-функциями, а с нуля какими-то своими. Хотя случай один на миллион, но бывает. В этом случае только OCR или чуть-чуть пореверсить приложение, чтобы понять, в каком месте текст передаётся на кастомную отрисовку.

Переношу в раздел по Windows-программирования, зачем в Народном трепе то создавать тему?

[Qwertiy]

получать текст из них прямо вызовом GetWindowText

Расскажи-ка про неё подробнее.
Почему MSDN рекомендует SendMessage WM_GETTEXT для чужих процессов?
Почему GetWindowText (как и GetWindowTextLength) не работает с текстовым полем диалога сохранения файла, в отличие от SendMessage? (По крайней мере, в Win7 x64).

[Хакер]

Почему MSDN рекомендует SendMessage WM_GETTEXT для чужих процессов?

Видимо потому что, есть случаи, аналогичные описанному:

GetWindowText (как и GetWindowTextLength) не работает с текстовым полем диалога сохранения файла, в отличие от SendMessage?

Потому что, очевидно, кто-то не пользуется родной виндовой возможностью ассоциировать произольный текст в произвльным окном в системе, а хранит нужный текст в каком-то своём месте. Тогда логично, что оконная процедура сама обрабатывает WM_GETTEXT/WM_SETTEXT и оперирует текстом, размещённым каким-то там своим образом.

Но аналогично можно напороться на обратный случай: GetWindowText будет возвращать, что надо, а WM_GETTEXT — будет возвращать ерунду.

[Qwertiy]

Потому что, очевидно, кто-то не пользуется родной виндовой возможностью ассоциировать произольный текст в произвльным окном в системе, а хранит нужный текст в каком-то своём месте.

Хм... В приведённом мной случае речь об обыкновенном диалоге сохранения файла, его класс "#32770". Я так понимаю, это и есть родной виндовый диалог, но GetWindowText для его элемента с классом Edit всегда возвращает пустую строку...

[Tuco]

спасибо!
забыл уточнить, обрабатываемая прога работает в виртуальной машине. spy++ её отловит ли из машины-хоста?

[Qwertiy]

Думаю, нет.
Почему бы твою прогу тоже в виртуалке не запускать?
Элементы ListBox'а можно получить с помощью SendMessage LB_GETTEXTLEN и LB_GETTEXT.

[Tuco]

моя прога и подопытная должны быть на разных машинах. можно тогда мою в виртуальную сунуть, тогда главную на хост

[Хакер]

Хм... В приведённом мной случае речь об обыкновенном диалоге сохранения файла, его класс "#32770". Я так понимаю, это и есть родной виндовый диалог, но GetWindowText для его элемента с классом Edit всегда возвращает пустую строку...

Вероятно Edit сабклассится. Или это может быть вообще под горе-семёркой для всех эдитов справедливо. Не задавался таким вопросом и не копал я.

забыл уточнить, обрабатываемая прога работает в виртуальной машине. spy++ её отловит ли из машины-хоста?

Конечно же нет.

моя прога и подопытная должны быть на разных машинах. можно тогда мою в виртуальную сунуть, тогда главную на хост

Какая разница. Они полностью физически изолированы друг от друга.
Откуда проистекает требования, что программы должны работать на разных машинах? Обычно люди по собственной глупости придумывают себе ненужные требования и тратят кучу сил, чтобы уложиться в эти требования.

[Tuco]

привет! Спасибо за уделенное мне время!
Не хочу писать во всеобщем доступе. Условия задачи обеспечены условиями конспирации. Это будет нечто типа покерного бота. но не бот, конечно. Не нужно всё же покерному клиенту иметь доступ к машине, на которой работает моя прога

[Qwertiy]

моя прога и подопытная должны быть на разных машинах

Тогда только распознавание.

Не нужно всё же покерному клиенту иметь доступ к машине, на которой работает моя прога

Ты хочешь скрыть от него факт существования твоей проги?
У меня большое подозрение, что тогда ты вообще никак с ней взаимодействовать не сможешь. Т. е. распознать скрин ты сможешь, но повлиять как-то на клиент - нет.

К тому же, обращаю внимание, что сообщения показываются на некоторое непродолжительное время, а список прокручивается. По идее (не проверял), получение элемента списка по индексу работать должно, а вот с распознаванием будет куча проблем.

[iGrok]

Ну, может ещё можно поковыряться в сторону удалённой отладки, но думается мне, это тоже не прокатит.

А в данном конкретном случае нужно вообще перехватывать и анализировать трафик.

[Хакер]

Почему бы не запустить покерный бот и твою программу на виртуалке вместе.

[Qwertiy]

Насколько я понимаю, он не хочет чтобы программа вообще знала, что бот запущен. Тогда использование WinApi с окнами программы становится невозможным, остаётся только OCR.

[iGrok]

Почему бы не запустить покерный бот и твою программу на виртуалке вместе.

Ну, судя по всему, он хочет сам написать что-то типа бота, а программа, которую нужно отслеживать - это покерный клиент. А запускать их вместе нельзя из-за встроенной защиты покерного клиента, т.к. его тоже не дураки делают, и уже давно научились отслеживать подобные вещи и банить умельцев вместе с их счетами.

[Tuco]

Друзья мои, ещё раз напоминаю, что это не бот! Мне нужно только считать мои карты, и действия других участников до моего первого слова. Дальше всё я делаю сам, вручную.

[Tuco]

Почему бы не запустить покерный бот и твою программу на виртуалке вместе.

Ну, судя по всему, он хочет сам написать что-то типа бота, а программа, которую нужно отслеживать - это покерный клиент. А запускать их вместе нельзя из-за встроенной защиты покерного клиента, т.к. его тоже не дураки делают, и уже давно научились отслеживать подобные вещи и банить умельцев вместе с их счетами.

именно так и происходит примерно. мне нужно отслеживать клиента, а авторы не разбираются в моих идеях. действия сомнительны - бан, хотя я ничего предосудительного не планирую

[Tuco]

я думаю, что моя задача близка к QR-кодам. Ведь как-то нужно опознать 3 метки и код внутри квадрата... Дальше-то как действовать?

[Qwertiy]

Изображение на экране. Оно хорошего качества. Просто прикладываешь символ и смотришь результат - совпало, значит он.

[Tuco]

правильно. как это делается?

[Qwertiy]

Попиксельным сравнением. Пишешь текст и попиксельно сравиниваешь.

[Хакер]

А запускать их вместе нельзя из-за встроенной защиты покерного клиента, т.к. его тоже не дураки делают, и уже давно научились отслеживать подобные вещи и банить умельцев вместе с их счетами.

Дураки не дураки, а ведь клиент не всесилен. Какой там механизм защиты? Если данные выводятся не на windowsless-контролы, то для получения текста даже не нужно ничего подозрительного делать. Вызов GetWindowText/WM_GETTEXT будет расценен покерным клиентом как нелегальное действие?

Изображение на экране. Оно хорошего качества. Просто прикладываешь символ и смотришь результат - совпало, значит он.

Если там текст не моноширинный, то нужно учиывать её кернинговые пары. А если текст с антиалиасингом — то вообще весело.

[Tuco]

кто их знает, что они пихают в систему вместе с клиентом... может даже какой-то аналог троянца... лучше перестраховаться...
а как попиксельно сравнивать?

[Qwertiy]

Какой там механизм защиты?

А кто его знает? Мне когда-то случайно где-то попадолось обсуждение того, откуда брать траектории движения мыши для нажатия на кнопки... Если это действительно надо, то постоянные LB_GETTEXT вполне могут быть расценены как подозрительные...

Если там текст не моноширинный, то нужно учиывать её кернинговые пары. А если текст с антиалиасингом — то вообще весело.

Зачем тут мудрить, если шрифт известен? небольшой перебор позиции и всё должно работать.
В списке чата, из которого я предлагаю брать информацию, шрифт вполне обыкновенный. Не думаю, что с ним будут проблемы. Только, он прокручивается, т. е. время ограничено, а автодействие вполне может использоваться несколькими игроками. Но если чат отсоединить, то строк станет достаточно.
А вот если не из чата, то она выводится не через контролы и отображается около секунды на экране. Если искать там сумму ставки, то она ещё и в разных местах может появляться. А вот само действие - фактически можно заготовить несколько шаблонов и с ними сравнивать.

а как попиксельно сравнивать?

Ну берёшь строку списка, и берёшь кучу шаблонов (по числу возможных символов). Пытаешься прикладывать, допустим со сдвигом -2 to +2 пискселя от текущей линии. Если совпадает, переносишь линию и переходишь к следующему символу.

[Tuco]

заранее известны варианты ответа - fold, call, raise. их видно на экране в одном и том же месте (6-9 мест на поле одного и того же размера). Если , к примеру, нажать alt+prtscr в буфере окажется именно это поле. Как найти эти 6-9 мест и проверить на соответствие шаблону?