Posts

Understanding state-value and action-value Bellman equations

Image
0 $begingroup$ In Reinforcement Learning , the Bellman Optimality equations are important for defining optimal policies to be taken by a learning algorithm. The following two equations are commonly cited... ... and ... From a high level I understand how each work, I get that the state-value function returns the optimal policy from going from one state to another and I get that the action-value returns the optimal policy of taking an action from a particular state. What I don't understand is why these equations work out mathematically. Why is the max function outside of the equation for the state-action function and why is it placed inside for the action-value function? I must be missing some fundamental information about how each equation works. Can someone explain the difference to me? ...

NASDAQ

Image
NASDAQ aŭ simple Nasdaq, originale akronimo por ’’National Association of Securities Dealers Automated Quotations’’ (Aŭtomata kursdetermino de Nacia Asocio de Valorpaperaj Komercistoj), estas borso, kiun funkciigas la ’’National Association of Securities Dealers’’. Kiam la komercado komenciĝis la 8-an de februaro en 1971, ĝi estis la unua elektronika borso. Ekde 1999, ĝi estas la plej granda usona borso, en kiu aperas duono de la usonaj Akciaj Kompanioj. NASDAQ konsistas el ’’NASDAQ National Market’’ (Nasdaq-a Nacia Merkato) kaj ’’NASDAQ SmallCap Market’’ (Nasdaq-a EtĈapa Merkato, sed " cap " (ĉapo) estas ankaŭ mallongigo por " capital " = kapitalo). La sidejo de la ĉefa borso estas en Usono, sed kun borsoj en Kanado kaj Japanio. Ĝi havas kontaktojn ankaŭ al aliaj borsoj en Hong Kong kaj Eŭropo. La NASDAQ permesas multajn merkatajn reprezentantojn partopreni en la komerco per la ’’Electronic Communications Networks (ECNs)’’ (Elektronika Komunika Reto). La Smal...

What does it mean: “Everything looks OK but loss won't decreases!”

Image
0 $begingroup$ I have written a LSTM network. It seems all the things are OK but when I train the network, I get the same loss amount about 4.9e-4 for every iterations! What is the problem? Why my network can't decrease the loss amount? lstm loss-function share asked 5 mins ago user145959 user145959 107 7 $endgroup$ add a comment  |  0 ...