Lämpötila LLM:issä, selkeästi selitetty! Lämpötila on keskeinen näytteenottoparametri LLM-päättelyssä. Tänään näytän sinulle, mitä se tarkoittaa ja miten se todella toimii. Aloitetaan pyytämällä OpenAI GPT-3.5:tä matalalla lämpötila-arvolla kahdesti. Havaitsemme, että se tuottaa identtisiä vastauksia LLM:stä. Tsekkaa tämä👇 Nyt pyydetään sitä korkealla lämpötila-arvolla. Tällä kertaa se tuottaa siansaksaa. Tarkista alla oleva tulos. Mitä täällä tapahtuu? 🤔 Sukelletaan sisään... 👇 Tekstiä tuottavat LLM:t ovat kuin luokittelumalleja, joiden tulostuskerros kattaa koko sanaston. Sen sijaan, että he valitsisivat eniten pisteitä saavan tokenin, he "otokset" ennusteista. Tätä näytteenottoa ohjataan Temperature-parametrilla, joka säätää softmax-toimintoa. Tsekkaa tämä👇 Lämpötila ohjaa todennäköisyysjakauman käyttäytymistä. ❗️Alhaisissa lämpötiloissa todennäköisyydet nousevat jyrkästi huippuunsa, mikä tekee näytteenotosta lähes ahnetta; Eniten pisteitä saanut token valitaan lähes aina. ...