1. Gabatarwa
Kalmomin sirri sun kasance babban hanyar tabbatar da ainihi duk da raunin da aka sani. Wannan takarda tana binciken aikace-aikacen Manyan Harsunan Harshe (LLMs) a fagen tsaron kalmar sirri. Marubutan sun gabatar da PassGPT, wani tsari da aka horar da shi akan bayanan sirri da aka ɓoye don samarwa da kimanta ƙarfi. Babbar tambayar bincike ita ce: Yaya LLMs za su iya ɗaukar ainihin halayen kalmomin sirri da mutum ya ƙirƙira? Aikin ya tsara kansa a cikin zato kalmar sirri na kashe wuta, inda abokin gaba ya mallaki hash na kalmar sirri kuma yana nufin dawo da sigar rubutu mai sauƙi.
Gudummawar Maɓalli:
- Haɓaka PassGPT, wani LLM wanda ya dogara ne akan tsarin gine-ginen GPT-2 don ƙirƙirar kalmar sirri.
- Gabatar da samar da kalmar sirri mai jagora, wanda ke ba da damar samfurin ƙasa da ƙuntatawa na sabani.
- Binciken rarraba yiwuwa akan kalmomin sirri da abubuwan da ke tattare da shi don kimanta ƙarfi.
- Nuna mafi girman aiki fiye da hanyoyin da suka gabata na Cibiyar Sadarwa ta Adawa (GAN).
2. Hanyoyi & Tsarin Gine-gine
Wannan sashe ya yi cikakken bayani game da tushen fasaha na PassGPT da sabbin iyawarsa.
2.1. Tsarin Gine-ginen PassGPT
PassGPT an gina shi akan tsarin gine-ginen GPT-2 wanda ya dogara da Transformer. Ba kamar GANs waɗanda ke samar da kalmomin sirri gaba ɗaya ba, PassGPT yana ƙirƙirar kalmomin sirri a jere a matakin harafi. Wannan ƙirar mai sarrafa kansa tana bayyana rarraba yiwuwa akan harafi na gaba idan aka ba da jerin da ya gabata: $P(x_t | x_{
2.2. Samar da Kalmar Sirri Mai Jagora
Wani sabon abu shine samar da kalmar sirri mai jagora. Ta hanyar sarrafa tsarin samfurin (misali, ta amfani da yiwuwar sharadi ko rufe fuska), PassGPT na iya samar da kalmomin sirri waɗanda suka gamsar da takamaiman ƙuntatawa, kamar ƙunsar wasu haruffa, cika mafi ƙarancin tsayi, ko bin wani tsari na musamman (misali, "fara da 'A' kuma ƙare da '9'"). Wannan sarrafa matakin harafi, babbar fa'ida ce akan hanyoyin GAN da suka gabata, waɗanda ba su da wannan sarrafa mai daidaitawa.
Misalin Lamari (Ba Code ba): Ƙungiyar tsaro tana son gwada ko manufarsu ta "dole ya ƙunshi lamba da harafi na musamman" tana aiki. Ta amfani da samarwa mai jagora, za su iya umurci PassGPT ya sami dubban kalmomin sirri waɗanda suka bi wannan manufa daidai, sannan su bincika nawa daga cikin waɗannan kalmomin sirri masu bin manufar har yanzu suna da rauni kuma ana iya zato su cikin sauƙi, suna bayyana yuwuwar kurakurai a cikin manufar kanta.
2.3. Haɓaka PassVQT
Marubutan kuma sun gabatar da PassVQT (PassGPT tare da Ƙididdigar Vector), sigar da aka haɓaka wacce ta haɗa fasaha daga VQ-VAE. Wannan gyara yana nufin ƙara ruɗani na kalmomin sirri da aka samar, yana iya sa su zama masu bambanta da wahalar zato da wasu tsare-tsare, kodayake ciniki tare da gaskiya yana buƙatar kimantawa mai kyau.
3. Sakamakon Gwaji
3.1. Aikin Zato Kalmar Sirri
Takardar ta ruwaito cewa PassGPT yana zato kalmomin sirri da ba a taɓa gani ba kashi 20% fiye da mafi kyawun tsare-tsaren GAN. A wasu gwaje-gwaje, yana zato sau biyu kalmomin sirri da ba a taɓa gani ba. Wannan yana nuna mafi girman iyawa don haɗa bayanan horo zuwa sabbin saitin kalmar sirri. Samarwa a jere mai yiwuwa yana ba shi damar ɗaukar ƙarin dogaro na Markov fiye da samarwar GANs sau ɗaya.
Bayanin Ginshiƙi: Zane mai zane zai nuna "Adadin Kalmomin Sirri na Musamman da aka Zato" akan Y-axis. Ginshiƙai na "PassGPT" za su fi girma sosai fiye da ginshiƙai na "Tsarin GAN (misali, PassGAN)" da "Tsarin Markov na Al'ada," suna tabbatar da gibin aikin da aka yi iƙirari a cikin rubutu.
3.2. Binciken Rarraba Yiwuwa
Babbar fa'ida ta LLMs akan GANs ita ce samar da yiwuwa bayyananne ga kowace kalmar sirri da aka ba: $P(\text{kalmar sirri}) = \prod_{t=1}^{T} P(x_t | x_{
4. Binciken Fasaha & Fahimta
Fahimta ta Asali: Cigaban asali na takardar shine gane cewa kalmomin sirri, duk da gajeriyarsu, wani nau'i ne na harshe da ɗan adam ya ƙirƙira. Wannan sake fasalin yana buɗe babban ikon gane tsari na LLMs na zamani, yana motsawa fiye da iyakokin GANs waɗanda ke ɗaukar kalmomin sirri a matsayin guda ɗaya, gungu masu tsari. Yanayin LLMs na jere, mai yiwuwa ya dace da matsalar.
Kwararar Ma'ana: Hujjar tana da ban sha'awa: 1) LLMs suna ƙware wajen ƙirƙirar jerin abubuwa (harshe na halitta). 2) Kalmomin sirri jerin abubuwa ne (na haruffa) tare da son zuciya na ɗan adam. 3) Saboda haka, LLMs yakamata su ƙware wajen ƙirƙirar kalmomin sirri. Gwaje-gwajen sun tabbatar da wannan hasashe, suna nuna nasarori masu ƙima a kan SOTA da ya gabata (GANs). Gabatar da samarwa mai jagora shine ƙa'ida mai ma'ana kuma mai ƙarfi na tsarin jere.
Ƙarfi & Kurakurai: Ƙarfin ba za a iya musantawa ba—mafi girman aiki da sabon aiki (samarwa mai jagora, yiwuwa bayyananne). Duk da haka, takardar ta rage mahimman kurakurai. Na farko, dogaro da bayanan horo: Tasirin PassGPT yana da alaƙa da inganci da sabuntawar bayanan sirri da aka ɓoye da aka horar da shi, iyaka da aka yarda da ita a cikin irin wannan ayyukan samarwa kamar CycleGAN don fassarar hoto wanda ke buƙatar bayanan da aka haɗa ko waɗanda ba a haɗa su ba. Kamar yadda masu bincike a cibiyoyi kamar MIT Computer Science & Artificial Intelligence Laboratory suka lura, aikin tsari na iya raguwa tare da bayanan da suka tsufa ko waɗanda ba su wakilci ba. Na biyu, farashin lissafi na horo da gudanar da tsarin Transformer yana da girma sosai fiye da tsarin Markov mai sauƙi, wanda zai iya iyakance turawa mai amfani a cikin yanayin fashewa mai ƙarancin albarkatu. Na uku, yayin da samarwa mai jagora ya kasance sabon abu, amfaninsa na gaske ga maharan da masu tsaro yana buƙatar ƙarin tattaunawa mai zurfi.
Fahimta Mai Aiki: Ga ƙwararrun tsaro, wannan kiran farkawa ne. Dole ne manufofin kalmar sirri su ci gaba fiye da sauƙaƙan ƙa'idodin tsari. Dole ne masu kimanta ƙarfi su haɗa tsare-tsare masu yiwuwa kamar PassGPT don kama kalmomin sirri "ƙarfi-amma-ana iya zato". Ga masu bincike, hanya a bayyane take: bincika bambance-bambancen Transformer masu sauƙi (kamar tsarin gine-ginen LLaMA da aka ambata) don inganci, da bincika hanyoyin tsaro waɗanda za su iya gano ko karkatar da hare-haren kalmar sirri da LLM ya samar. Zamanin fashewar kalmar sirri ta AI ya canza daga GANs zuwa LLMs.
5. Aikace-aikace na Gaba & Jagorori
- Gwajin Ƙarfin Kalmar Sirri Mai Ƙarfafawa: Ƙungiyoyi za su iya amfani da tsare-tsaren PassGPT masu jagora, waɗanda aka horar da su akan bayanan sirri na kwanan nan, don bincika bayanan kalmar sirri na mai amfani (a cikin sigar hash) ta hanyar samar da madaidaicin yiwuwa, gano asusun da ke cikin haɗari kafin fashewar ta faru.
- Masu Kimanta Ƙarfi na Gaba: Haɗa makin yiwuwa na PassGPT cikin ɗakunan ajiya kamar `zxcvbn` ko `dropbox/zxcvbn` zai iya ƙirƙirar masu kimanta gauraye waɗanda ke la'akari da rikitaccen ƙa'ida da yuwuwar ƙididdiga.
- Horo na Adawa don Tsaro: Ana iya amfani da PassGPT don samar da babban, bayanan sirri na roba na gaske don horar da tsarin gano kutse ko masu gano sabani don gane tsarin hari.
- Binciken Tsarin Tsarin: Aikin nan gaba zai iya kwatanta rarraba yiwuwa na PassGPT da na wasu tsare-tsaren samarwa (misali, Tsarin Yadawa) da aka yi amfani da su akan kalmomin sirri, bincika wane tsarin gine-gine ya fi ɗaukar son zuciya na ɗan adam.
- Mayar da hankali kan ɗabi'a & Tsaro: Babban jagorar bincike yakamata ya juya zuwa aikace-aikacen tsaro, kamar haɓaka fasahohin "guba" ko sanya bayanan kalmar sirri su zama marasa amfani don horar da LLMs masu mugunta, ko ƙirƙirar mataimakan AI waɗanda ke taimaka wa masu amfani su samar da kalmomin sirri na gaske, masu ƙarfi.
6. Nassoshi
- Rando, J., Perez-Cruz, F., & Hitaj, B. (2023). PassGPT: Tsarin Kalmar Sirri da (Jagora) Samarwa tare da Manyan Harsunan Harshe. arXiv preprint arXiv:2306.01545.
- Goodfellow, I., et al. (2014). Cibiyoyin Sadarwa na Adawa. Ci gaba a cikin Tsarin Sarrafa Bayanai na Neural.
- Radford, A., et al. (2019). Harsunan Harshe Masu Horar da Kai ne. (GPT-2).
- Hitaj, B., et al. (2017). PassGAN: Hanyar Koyon Zurfi don Zato Kalmar Sirri. Taron Ƙasa da Ƙasa akan Tsaron Cryptography da Tsaro na Cibiyar Sadarwa.
- Wheeler, D. L. (2016). zxcvbn: Ƙimar Ƙarfin Kalmar Sirri na Ƙaramin Kasafin Kuɗi. Taron Tsaro na USENIX.
- Zhu, J.-Y., et al. (2017). Fassarar Hotuna zuwa Hotuna marasa Haɗin gwiwa ta amfani da Cibiyoyin Sadarwa na Adawa masu Daidaitaccen Zagaye. Taron Ƙasa da Ƙasa na Kwamfuta na IEEE (ICCV). (CycleGAN).
- Touvron, H., et al. (2023). LLaMA: Buɗe da Ingantattun Harsunan Harshe na Tushe. arXiv preprint arXiv:2302.13971.
- MIT Computer Science & Artificial Intelligence Laboratory (CSAIL). Bincike akan Ƙarfin Koyon Injiniya da Dogaro da Bayanai.