Her iki formül de "doğru". Açının yönü nedeniyle oluşuyor bu işaret farkı, ciddi birşey değil.
$P$, bu doğru parçasını çap kabul eden çemberin dışında ise ($x^2+y^2-\frac14a^2>0$ olması), açı dar olmalı:
$y>0$ ise benim yazdığım formülde $\tan\alpha<0$, sizin yazdığınız formülde $\tan\alpha>0$ oluyor (sadece işareti farklı)
$y<0$ ise benim yazdığım formülde $\tan\alpha>0$, sizin yazdığınız formülde $\tan\alpha<0$ oluyor (sadece işareti farklı)
$P$ bu doğru parçasının iç noktası ise, $\alpha=\pm\pi$; $P$, doğru parçasının uzantısı üzerinde ise $\alpha=0$ oluyor ("dejenere" durumlar)
EK: Aslında bu durumu düzeltmek çok kolaymış:
$\tan\alpha=\frac{a|y|}{x^2+y^2-\frac14a^2}$ yöne bakmaksızın doğru değeri veriyor
Sadece $\tan\alpha=0$ iken $-\frac a2< x<\frac a2$ ise $\alpha=\pi$ , $|x|>\frac a2$ ise $\alpha=0$ oluyor.