Vuonna 1963 Polyak ehdotti yksinkertaista ehtoa, joka riittää osoittamaan gradienttimenetelmän globaalin lineaarisen suppenemisnopeuden. Tämä ehto on erikoistapaus samana vuonna esitetystä Łojasiewiczin epäyhtälöstä
.
Käytännössä (\mu)-PL-ehto tarkoittaa, että gradientin normin neliö on kaikkialla verrannollinen etäisyyteen optimiarvosta. Matemaattisesti ilmaistuna: (|\nabla f(x)|^2 \ge 2\mu (f(x) - f^*)) .
Tässä piilee ongelma. Yksikään käytössämme oleva lähde – mukaan lukien tuoreimmat arXiv-julkaisut, yliopistojen luentomateriaalit ja PL-ehtoa käsittelevät perusteokset – ei mainitse (PL^\circ)-merkintää .
Mitä tämä tarkoittaa?
Tutkimuksemme perusteella emme voi nimetä artikkelia, jossa (PL^\circ) esiteltiin. Tavallinen PL-ehto on sen sijaan hyvin dokumentoitu ja juontaa juurensa Polyakin vuoden 1963 työhön . Jos törmäät (PL^\circ)-merkintään, kannattaa tarkistaa asiayhteys huolella – saatat olla tekemisissä tuoreen tutkimuksen tai hyvin spesifin muotoilun kanssa, jota valtavirtakirjallisuus ei vielä tunne.
Comments
0 comments