Методология выявления гаплогрупп предполагает определение SNP (однонуклеотидный полиморфизм) - метки, которая и дифференцирует человечество по гаплгруппам, а гаплогруппный анализ, с его хронологической компонентой, определяют по анализу коротких тандемных повторов (STR), иначе аллелей.
Данные методы анализа из арсенала молекулярнгй биологии, их достаточно много. Чисто ознакомительно можно почитать, например, здесь:

Однонуклеотидные полиморфизмы в судебной генетике: методы детекции SNP
[gen-expert.ru]

STR-повторы
[ti-zdorov.blogspot.ru]


Профессиональные рабочие методы изложены в следующих источниках:

DNA Typing Protocols: Molecular Biology and Forensic Analysis
[www.kodges.ru]

Constructing STR Multiplex Assays
[yandex.ru]

Single Nucleotide Polymorphisms: Methods and Protocols (Second Edition) (Methods in Molecular Biology 578)
[bookfi.org]


Что касается собственно методов ДНК-генеалогии, включая генетические основы, используемые подходы из химической кинетики, матстатанализ, то целесообразно почитать, например, это:

Происхождение человека (по данным археологии, антропологии и ДНК-генеалогии) (вторая глава)
[rutracker.org]


ОТКУДА ПОЯВИЛИСЬ СЛАВЯНЕ И "ИНДОЕВРОПЕЙЦЫ"? ОТВЕТ ДАЁТ ДНК-ГЕНЕАЛОГИЯ
[www.lebed.com]

Эти источники снабжены библиографией, что позволит, в случае интереса более глубоко изучить тему. С уважением.