{"conversations": [{"from": "human", "value": "Vull entendre el proc\u00e9s de tokenitzaci\u00f3. Per qu\u00e8 \u00e9s m\u00e9s car tokenitzar en angl\u00e8s que en hindi? Tokences oracions completes o nom\u00e9s paraules?"}, {"from": "gpt", "value": "El proc\u00e9s de tokenitzaci\u00f3 consisteix en dividir el text en unitats m\u00e9s petites anomenades tokens. Tokenitzar en angl\u00e8s pot ser m\u00e9s car que en hindi, per exemple, degut a difer\u00e8ncies en estructura i demanda. Es tokenitzen tant oracions completes com paraules."}]}