do i have to change servers ev

do i have to change servers every 20minutes since their latency change and get to 400 ping suddenly?

when i look up the rtt average and choose for example a server with 11ms then 1 hour or smth later its 400ms   

There are some nodes i see more often and some i dont see that often if i pick one that i dont see often it goes down pretty fast 

Yes.  Please check FAQ - Nodes link too about how to pick a better node.  At least you should pick a mudfish node whose RTT stddev is closer to zero.