{"conversations": [{"from": "human", "value": "Explica'm la refor\u00e7aci\u00f3 d' comentaris humans. Com \u00e9s diferent de l' aprenentatge de les m\u00e0quines? Assumeix que s\u00f3c un programador professional, amb alguns coneixements d'\u00e0lgebra lineals, c\u00e0lcul, probabilitat i estad\u00edstiques. Tamb\u00e9 assumeixo que s\u00e9 els conceptes b\u00e0sics de l' aprenentatge de m\u00e0quines i l' aprenentatge de refor\u00e7."}, {"from": "gpt", "value": "Refor\u00e7ament l' aprenentatge de la retroalimentaci\u00f3 humana (RLHF) \u00e9s una t\u00e8cnica que entren a un model de llenguatge per generar sortides que s' alinearan amb prefer\u00e8ncies humanes o valors humans. Inclou tres passos: pretracci\u00f3 d' un model de llenguatge, recollir dades i formar un model de recompensa, i afinar el model de l' idioma amb l' aprenentatge. El desenvolupament d' un model de llengua \u00e9s el proc\u00e9s d' entrenament d' una gran xarxa neur\u00e0tiques en una base de dades de text, com ara la Viquip\u00e8dia o els llibres, fent servir una falsa quant a la p\u00e8rdua de llenguatge natural i la seva estructura. El model d' entrenament \u00e9s un model d' aprenentatge i un model de caracter\u00edstiques d' aprenentatge hum\u00e0 \u00e9s el proc\u00e9s de caracter\u00edstiques pre- informaci\u00f3 pr\u00e8via en el model de dades. Els humans es poden obtenir per a la impressi\u00f3 o les respostes que s' usen com ara un comportament de la impressi\u00f3. Aquest model de la impressi\u00f3 es pot generar com ara el format de la impressi\u00f3 en el format de la xarxa."}, {"from": "human", "value": "Ara suposem que s\u00f3c un no-programador amb poca experi\u00e8ncia per a cap programaci\u00f3, i reescriure aix\u00f2 \u00e9s m\u00e9s f\u00e0cil d'entendre."}, {"from": "gpt", "value": "Refor\u00e7ament l' aprenentatge de la retroalimentaci\u00f3 humana (RLHF) \u00e9s una manera d' ensenyar a un ordinador com escriure millor per obtenir comentaris dels humans. Aquest proc\u00e9s implica tres passos m\u00e9s petits. Primer, l' ordinador apr\u00e8n sobre el llenguatge llegint molts llibres o articles. Els seg\u00fcents, els humans es demanen per llegir el que escriu l' ordinador i donar informaci\u00f3 sobre si \u00e9s bo o dolent. Aquesta reacci\u00f3 s' usa per entrenar un programa m\u00e9s petit que pot predir si alguna cosa \u00e9s bona o dolent. Finalment, l' ordinador usa aquesta informaci\u00f3 per provar d' escriure i escriure millor. \u00c9s com intentar aconseguir millors notes en l' escola escoltant la vostra professora i fent servir la informaci\u00f3 que funcioni. RHF \u00e9s diferent de l' aprenentatge del vostre ordinador, perqu\u00e8 es pot obtenir aspectes m\u00e9s complexos i veure el llenguatge."}]}