Castillo gick förbi högerpopulisten Keiko Fujimori då rösterna från landsbygden började komma in och har nu en ledning på några promilleenheter. Men det kan ta dagar innan det slutliga resultatet är klart.
Castillo är populär på den fattiga och underutvecklade landsbygden medan Fujimori är stark bland medel- och överklassen i de större städerna.
Fujimori, som är dotter till den för människorättsförbrytelser och korruption fängslade ex-presidenten Alberto Fujimori, sa under natten att det pågår ett försök att kringgå folkets vilja. Hon presenterade en rad videoklipp från sociala medier som enligt henne ska ha visat valfusk.
Hon uppmanade också sina anhängare att vara vaksamma och anmäla alla eventuella försök till valfusk de observerar.
Castillos parti tillbakavisar anklagelserna och uppmanar valmyndigheterna att skydda den demokratiska processen.
Det extremt jämna valet ökar spänningarna i det djupt polariserade landet. Den utdragna rösträkningen ökar risken för oroligheter och våld mellan kandidaternas anhängare. Fujimoris anklagelser om valfusk minskar inte heller spänningarna.
Källor: Reuters, AFP