AI Multiverse

AI อยู่ในอะไร คลิกวงลองแล้ว

วิธีที่เครื่องเรียนรู้ 3 แบบลองแล้ว

เส้นเวลา คลิกการ์ดเพื่ออ่านลองแล้ว

จัดกลุ่มข้อมูลด้วย k-means unsupervisedลองแล้ว

ไม่มีป้ายคำตอบ ให้เครื่องหากลุ่มเอง ก้าวทีละขั้นเพื่อดูว่าจุดถูกจัดเข้ากลุ่มแล้วศูนย์กลางย้ายอย่างไร คลิกบนกราฟเพื่อเพิ่มจุดของคุณเอง

ลองเลือก "วงแหวนซ้อน" แล้วรัน จะเห็นว่า k-means แบ่งผิดเพราะมันสมมติว่ากลุ่มเป็นก้อนกลม ข้อจำกัดนี้คือเหตุผลที่มีอัลกอริทึมจัดกลุ่มแบบอื่นอีกมาก

ฝึกโครงข่ายสด backpropลองแล้ว

ลองดู: เลือก "เกลียว" แล้วเปิดฟีเจอร์ sin x และ sin y เพิ่มชั้นซ่อน ถ้า learning rate สูงเกินไป loss จะแกว่งหรือพุ่ง นั่นคือสาเหตุที่ต้องจูนค่านี้

ตัวกรอง convolution CNNลองแล้ว

ตัวกรอง 3×3 เลื่อนสแกนภาพ แต่ละพิกเซลใหม่คือผลรวมถ่วงน้ำหนักของเพื่อนบ้าน 9 ตัว เลือกตัวกรองสำเร็จรูปหรือพิมพ์ค่าเองในตารางแล้วดูว่าภาพเปลี่ยนอย่างไร

ในโครงข่ายจริง ค่าในตัวกรองไม่ได้ถูกออกแบบด้วยมือ แต่ถูกเรียนรู้ด้วย backpropagation ชั้นแรกมักได้ตัวกรองคล้ายตัวตรวจขอบที่คุณเห็นตรงนี้

1 · ตัดโทเค็นด้วย BPE ฝึกจริงลองแล้ว

BPE เริ่มจากตัวอักษรเดี่ยว แล้วรวมคู่ที่เจอบ่อยที่สุดซ้ำๆ ตารางรวมนี้ฝึกจากคลังข้อความเล็กๆ ในหน้านี้ (ไม่ใช่คลังของโมเดลจริง) ลากแถบไปทางขวา โทเค็นจะยาวขึ้นและจำนวนลดลง ตัวเลขใต้โทเค็นคือรหัสสมมติเพื่อแสดงแนวคิด

2 · Self-Attention ค่าสุ่มที่ยังไม่ผ่านการฝึกลองแล้ว

ซื่อสัตย์กับข้อมูล: เวกเตอร์ในเดโมนี้สร้างจากแฮชของโทเค็นและยังไม่ผ่านการฝึก ค่าความสนใจจึงไม่มีความหมายทางภาษา แต่ สูตรคำนวณ softmax(QKT/√d) เหมือนกับในทรานส์ฟอร์เมอร์จริง ทุกแถวรวมกันได้ 1 เสมอ

3 · เดาคำถัดไป temperature / top-kลองแล้ว

นี่คือโมเดลภาษาแบบ bigram จากประโยคตัวอย่างไม่กี่สิบประโยค (ทำนายจากคำก่อนหน้าคำเดียว) LLM จริงใช้บริบทยาวนับแสนโทเค็น แต่กลไก "ได้การแจกแจง ปรับ temperature แล้วสุ่ม" เหมือนกัน temperature ต่ำ = มั่นใจและซ้ำ, สูง = หลากหลายและเพี้ยนง่าย

4 · แผนที่ความหมายของคำ embedding จริงลองแล้ว

เวกเตอร์ของแต่ละคำสร้างจากการนับว่าคำใดปรากฏใกล้กัน (co-occurrence, PPMI) ในประโยคตัวอย่างราว 50 ประโยค แล้วฉายลงสองมิติด้วย PCA คำที่ใช้ในบริบทคล้ายกันจะอยู่ใกล้กัน โดยไม่มีใครบอกว่า "แมว" กับ "หมา" คล้ายกัน

คลังประโยคมีขนาดเล็กมาก จึงเห็นกลุ่มหยาบๆ เท่านั้น (สัตว์ โมเดล การเข้ารหัส อาหาร) embedding ของโมเดลจริงเรียนจากข้อความมหาศาลและให้ความหมายละเอียดกว่านี้มาก

สนามแข่ง optimizer คลิกเพื่อวางจุดเริ่มลองแล้ว

หุบเขารูปวงรี (ชันในแกน y, ลาดในแกน x) ทำให้ SGD เด้งซิกแซก ส่วน Momentum สะสมแรงเฉื่อย และ Adam ปรับขนาดก้าวต่อแกน ลองเพิ่ม learning rate จนบางตัวแกว่งหรือติดหลุมท้องถิ่น

Overfitting องศาพหุนามลองแล้ว

ข้อมูลฝึก 14 จุดมาจากเส้นสีเขียวบวกนอยส์ ลากองศาของพหุนามจาก 1 ถึง 12 องศาต่ำเกินไปจะ underfit องศาสูงเกินไปจะวิ่งผ่านทุกจุดแต่แกว่งผิดธรรมชาติ ดูกราฟขวา: error ฝึกลดลงเรื่อยๆ แต่ error ทดสอบกลับพุ่งขึ้น แล้วลองเพิ่ม regularization

ใส่นอยส์ แล้วลองลบ ε-predictionลองแล้ว

ซื่อสัตย์กับข้อมูล: ในโมเดลจริง ε ถูกทำนายโดยเครือข่ายประสาทที่ฝึกมาแล้ว ในเดโมนี้เรารู้ ε จริง จึงลบได้สมบูรณ์เมื่อความผิดพลาด = 0 เลื่อนแถบ "ความผิดพลาดของตัวทำนาย" เพื่อดูว่าคุณภาพภาพที่สร้างขึ้นกับความแม่นของตัวทำนายนอยส์ ณ ขั้น t สูงๆ ผูกกันอย่างไร

เดินในปริภูมิแฝง latent spaceลองแล้ว

ลากจุดบนแผ่นซ้ายเพื่อเปลี่ยนตัวเลขสองตัว (z₁, z₂) ภาพขวาคำนวณจากเลขสองตัวนี้ทั้งหมด จุดใกล้กันให้ภาพคล้ายกัน เดินช้าๆ แล้วภาพจะเปลี่ยนต่อเนื่อง นี่คือหลักการเดียวกับที่ตัวสร้างภาพจริงใช้ แต่มีหลายร้อยมิติ ใช้ปุ่มลูกศรเลื่อนจุดได้เมื่อโฟกัสที่แผ่น

ค้นคลังความรู้ TF-IDF · character bigramลองแล้ว

พรอมต์ที่ส่งให้โมเดล

เดโมใช้ n-gram ของตัวอักษร จึงค้นภาษาไทยได้โดยไม่ต้องตัดคำ ระบบจริงมักใช้ embedding จากโมเดลแล้วค้นในฐานเวกเตอร์ แต่หลักการเดียวกัน: วัดความคล้าย เลือก top-k แล้วแนบเป็นบริบท

วงจรของเอเจนต์ คลิกแต่ละขั้นลองแล้ว

ตัวแทนเรียนรู้ด้วยรางวัล Q-learningลองแล้ว

วงกลม S คือตัวแทน G คือเป้าหมาย (+1) X คือหลุม (−1) ทุกก้าวเสียเล็กน้อย ตัวแทนไม่รู้แผนที่ ต้องลองผิดลองถูก กดฝึกอัตโนมัติแล้วดูลูกศรและสีฟ้า (ค่า Q) ค่อยๆ ชี้ทางที่ดี วาดกำแพง หลุม และเป้าหมายใหม่ได้บนแผนที่ (ใช้ปุ่มลูกศรและ Space เมื่อโฟกัสที่แผนที่)

ตัวอย่างโจมตี ลากจุด · เลื่อน εลองแล้ว

ซ้าย: เลื่อน ε เพื่อขยับจุดตามทิศ −sign(w) (แนวคิด FGSM) จนข้ามเส้นแบ่ง ขวา: จำลองจริงว่า ε ต่ำสุดที่พลิกคำตอบลดลงตามมิติ (ประมาณ 1/√d) ภาพความละเอียดสูงมีหลายพันมิติ การรบกวนที่ตามนุษย์ไม่เห็นจึงพอจะหลอกโมเดลได้

ความเป็นธรรมของเกณฑ์ demographic parity vs equal opportunityลองแล้ว

ระบบคัดเลือกให้คะแนนผู้สมัครสองกลุ่ม เกณฑ์ตัดสินที่เท่ากันให้ผลต่างกัน เพราะสัดส่วนผู้ที่ควรได้จริงของสองกลุ่มต่างกัน และคะแนนของกลุ่ม B ถูกกดต่ำลงเล็กน้อยด้วยอคติในข้อมูล ลองกดปุ่ม "ทำให้ parity เท่ากัน" แล้วดูว่า TPR ห่างขึ้น และกลับกัน คุณจะเห็นว่าสองเป้าหมายนี้ขัดกัน

ข้อมูลในเดโมเป็นข้อมูลจำลองที่ผมออกแบบเอง ไม่ได้มาจากคนจริง จุดประสงค์คือแสดงโครงสร้างของข้อแลกเปลี่ยน ไม่ใช่ตัวเลขของระบบใดระบบหนึ่ง

เครื่องคิด "เก็บไว้ก่อน ถอดทีหลัง" Moscaลองแล้ว

ถ้า X + Y > Z ข้อมูลของคุณยังต้องลับอยู่ ตอนที่การเข้ารหัสปัจจุบันอาจถูกเจาะ Z เป็นเพียงสมมุติฐานให้ลองเล่น ไม่ใช่คำพยากรณ์ และไม่มีใครรู้ค่าจริง นี่คือเหตุผลที่หน่วยงานมาตรฐานแนะนำให้ย้ายก่อนจะแน่ใจ

แลตทิซ: ทำไมมันยากสำหรับควอนตัม CVPลองแล้ว

แลตทิซคือตารางจุดที่สร้างจากเวกเตอร์ฐาน ฐานดี (สั้น ตั้งฉาก) ทำให้หาจุดที่ใกล้เป้าหมายที่สุดได้ง่าย แต่ ฐานเสีย ของแลตทิซเดียวกัน (ยาว เอียง) ทำให้วิธีเดียวกันพลาด กุญแจส่วนตัวคือฐานดี กุญแจสาธารณะคือฐานเสีย ลากจุดสีขาวเพื่อดูผล

แลกกุญแจแบบแลตทิซ LWE KEM ขนาดเล็กลองแล้ว

เดโมนี้รัน KEM แบบ Learning With Errors จริงในเบราว์เซอร์ (n=16, q=3329 เหมือน ML-KEM) กุญแจสาธารณะคือ B = A·S + E นอยส์ E ซ่อน S ผู้รับลบ STu แล้วปัดเศษทิ้งนอยส์ ผู้ดักฟังที่ไม่มี S แยกข้อความไม่ออก

ข้อควรระวัง: นี่คือเดโมเพื่อการศึกษา ไม่ปลอดภัยสำหรับใช้งานจริง ML-KEM จริงใช้พหุนามในริง (module-LWE), การแปลง Fujisaki-Okamoto ป้องกัน chosen-ciphertext และผ่านการตรวจสอบนานหลายปี ใช้ไลบรารีมาตรฐานเท่านั้น ลองเพิ่ม η จนขอบนอยส์ข้ามเส้นประ แล้วจะเห็นการถอดรหัสผิดพลาด

ลายเซ็นหลังควอนตัมแบบแฮช Lamportลองแล้ว

ลายเซ็นแบบแฮชปลอดภัยตราบที่ฟังก์ชันแฮชยังทนต่อการย้อนกลับ ควอนตัมช่วยได้แค่ระดับรากที่สอง ที่นี่ใช้ SHA-256 จริงผ่าน WebCrypto สร้างกุญแจ 256 คู่ เซ็นโดยเปิดเผยค่าลับตามแต่ละบิตของแฮชข้อความ ตารางด้านล่างคือบิตทั้ง 256 ตำแหน่ง

ลายเซ็นนี้ใช้ได้ครั้งเดียวต่อกุญแจ ลองเซ็นข้อความที่สองด้วยกุญแจเดิม จะเห็นสัดส่วนกุญแจลับที่รั่วเพิ่มขึ้น เมื่อรั่วมากพอ ผู้โจมตีประกอบลายเซ็นปลอมของข้อความอื่นได้ SLH-DSA (FIPS 205) แก้ปัญหานี้ด้วยต้นไม้แฮชเพื่อเซ็นได้จำนวนมาก

เช็กลิสต์ความพร้อมของทีม ทำแล้วติ๊กลองแล้ว

มาตรฐาน NIST ขนาดเป็นไบต์ลองแล้ว

ML-KEM, ML-DSA และ SLH-DSA ประกาศเป็นมาตรฐานเมื่อสิงหาคม 2024 ในทางปฏิบัติ TLS เริ่มใช้แบบ ไฮบริด (X25519 + ML-KEM-768) เพื่อไม่ให้ความปลอดภัยแย่กว่าเดิมถ้าอัลกอริทึมใหม่ถูกค้นพบจุดอ่อน สิ่งที่ต้องทำสำหรับทีม AI: ทำบัญชีว่าข้อมูลและน้ำหนักโมเดลใดต้องลับนาน เปิดใช้ TLS ไฮบริด วางแผนให้ระบบเปลี่ยนอัลกอริทึมได้ (crypto-agility)