.@trailofbits Buttercup-tiimi puhuu kilpailustrategiastamme nyt, AIxCC-lavalla. Tässä on ydintiimimme (8 ydinhenkilöä + ~3 palkkasoturia):

Strategiamme ohjaavat periaatteet. TLDR käyttää työhön parasta työkalua. Älä odota, että LLM:t ovat taianomaisen hyviä asioissa, joista tiedämme, etteivät ne ole.

Alkuperäinen Buttercup-muotoilu oli huomattavasti hienostuneempi. Sitä karsittiin sääntöjen noudattamiseksi ja tiimimme resurssirajoitusten huomioon ottamiseksi.

Pärjäsimme semifinaaleissa huomattavan hyvin ja saimme monta ensimmäistä verta, mutta Java-virheetsintämme meni rikki, emmekä vieläkään tiedä miksi!

Semifinaalit vahvistivat yleisen lähestymistapamme, mutta sitä oli mukautettava, jotta se mukautuisi finaalien mittakaavan valtavaan kasvuun. Heitimme prototyypin pois ja aloitimme tyhjästä finaaliin.

Henrik työskenteli orkestraattorin parissa: miten, mitä ja milloin lähettää kilpailun API:lle. Päätimme aina vaatia PoV:n maksimoidaksemme luottamuksemme lähetyksiin.

Run työskenteli haavoittuvuuksien etsintämoottorimme parissa. Käytimme tavallisia oss-fuzz-fuzzereita. Käytimme jaettua korpusta, jossa LLM:t auttoivat sumeita saamaan kattavuutta.

Ronald työskenteli haavoittuvuuksien etsintämoottorimme parissa. Käytimme tavallisia oss-fuzz-fuzzereita. Käytimme jaettua korpusta, jossa LLM:t auttoivat sumeita saamaan kattavuutta.

Ronald työskenteli haavoittuvuuksien etsintämoottorimme parissa. Käytimme tavallisia oss-fuzz-fuzzereita. Käytimme jaettua korpusta, jossa LLM:t auttoivat sumeita saamaan kattavuutta.

Patcher on moniagenttijärjestelmä, 6k riviä koodia, LangChain/LangGraph, jossa on ei-päättely GPT-4.1. Tietoturva-agentti tunnistaa perimmäiset syyt, insinööriagentti etsii testiohjeet, sitten laadunvarmistusagentti korjaustiedoston ja vahvistaa sen. Jos se epäonnistuu, heijastusagentti säätää strategiaa.

Näyttelykierroksilla teimme ensimmäisen maalin 1. kierroksella, kaatuimme kovasti 2. kierroksella ja nousimme takaisin 3. kierroksella. Olimme resurssitehokkaita kierroksella 1 ja käytimme vain 1 000 dollaria 30 000 dollarin LLM-budjetista. Kierroksella 2 meillä oli pieni kirjoitusvirhe, joka kaatoi kaiken.

Pisteytyskierroksella löysimme paljon bugeja rajoitetulla budjetilla (puolet käytettävissä olevasta), erittäin tarkasti ja saimme hyvät pisteet kaikissa tehtävissä. Löysimme myös ainakin 1 virheen, jota kukaan muu CRS ei tehnyt, mikä osoittaa, että käsittelimme uutta maaperää.

Miten teimme niin hyvät maalit? Meillä oli 90 %:n tarkkuus, saimme pisteet kaikista tehtävistä ja teimme laadukkaita korjauksia kaikille virheillemme.

Vietimme viimeisen kuukauden tekemällä pienennetyn version buttercupista, joka toimii kannettavalla tietokoneellasi. Aiomme säilyttää sen osalla voitoista. Se on nyt avoimen lähdekoodin!