Vuonna 1963 Polyak ehdotti yksinkertaista ehtoa, joka riittää osoittamaan gradienttimenetelmän globaalin lineaarisen suppenemisnopeuden. Tämä ehto on erikoistapaus samana vuonna esitetystä Łojasiewiczin epäyhtälöstä .
Käytännössä (\mu)-PL-ehto tarkoittaa, että gradientin normin neliö on kaikkialla verrannollinen etäisyyteen optimiarvosta. Matemaattisesti ilmaistuna: (|\nabla f(x)|^2 \ge 2\mu (f(x) - f^*)) .
Tässä piilee ongelma. Yksikään käytössämme oleva lähde – mukaan lukien tuoreimmat arXiv-julkaisut, yliopistojen luentomateriaalit ja PL-ehtoa käsittelevät perusteokset – ei mainitse (PL^\circ)-merkintää .
Mitä tämä tarkoittaa?
Tutkimuksemme perusteella emme voi nimetä artikkelia, jossa (PL^\circ) esiteltiin. Tavallinen PL-ehto on sen sijaan hyvin dokumentoitu ja juontaa juurensa Polyakin vuoden 1963 työhön . Jos törmäät (PL^\circ)-merkintään, kannattaa tarkistaa asiayhteys huolella – saatat olla tekemisissä tuoreen tutkimuksen tai hyvin spesifin muotoilun kanssa, jota valtavirtakirjallisuus ei vielä tunne.
Vuonna 1963 Polyak ehdotti yksinkertaista ehtoa, joka riittää osoittamaan gradienttimenetelmän globaalin lineaarisen suppenemisnopeuden. Tämä ehto on erikoistapaus samana vuonna esitetystä Łojasiewiczin epäyhtälöstä .
Käytännössä (\mu)-PL-ehto tarkoittaa, että gradientin normin neliö on kaikkialla verrannollinen etäisyyteen optimiarvosta. Matemaattisesti ilmaistuna: (|\nabla f(x)|^2 \ge 2\mu (f(x) - f^*)) .
Tässä piilee ongelma. Yksikään käytössämme oleva lähde – mukaan lukien tuoreimmat arXiv-julkaisut, yliopistojen luentomateriaalit ja PL-ehtoa käsittelevät perusteokset – ei mainitse (PL^\circ)-merkintää .
Mitä tämä tarkoittaa?
Tutkimuksemme perusteella emme voi nimetä artikkelia, jossa (PL^\circ) esiteltiin. Tavallinen PL-ehto on sen sijaan hyvin dokumentoitu ja juontaa juurensa Polyakin vuoden 1963 työhön . Jos törmäät (PL^\circ)-merkintään, kannattaa tarkistaa asiayhteys huolella – saatat olla tekemisissä tuoreen tutkimuksen tai hyvin spesifin muotoilun kanssa, jota valtavirtakirjallisuus ei vielä tunne.