| Pre-training Pre-training is the initial phase where AI models learn the basics of accomplishing a particular task, like learning the alphabet before diving into writing full sentences. The models are exposed to large datasets, helping them grasp languages and patterns. This sets the stage for fine-tuning, where they train to specialize in specific tasks. | Az előképzés a mesterséges intelligencia modellek fejlesztésének egy alapvető fázisa, amely során a modellek nagy mennyiségű adaton tanulják meg az alapvető mintázatokat és összefüggéseket. Ez a folyamat hasonlít ahhoz, mint amikor valaki először az ábécét tanulja meg, mielőtt összetett mondatokat kezdene írni. Az előképzés során a modellek általános képességeket sajátítanak el, amelyek később finomhangolással (fine-tuning) egyedi feladatokra optimalizálhatók. Gyakorlati példa Egy nyelvi modell előtanulása: Adatgyűjtés: A modell milliónyi szöveges adatból tanul, például könyvekből, cikkekből és fórumokból. Előtanulás: A modell megtanulja az angol nyelv szintaxisát, nyelvtanát és szókincsét. Finomhangolás: Az előtanult modellt adaptálják egy adott feladatra, például orvosi szövegek elemzésére. | Almotive ELTE AI Lab OpenAI GPT-3/4 BERT XLNet DeepMind AlphaZero Facebook’s RoBERTa |