מאיצי AI לקצה נמדדים בדרך כלל במספר אחד, TOPS. כשעוברים ממודלי ראייה למודלי שפה (LLM), המספר הזה מפסיק להסביר מה תקבלו בפועל. מודל שפה צריך את המשקלים שלו בזיכרון שהמאיץ ניגש אליו בקצב גבוה, ולכן קיבולת הזיכרון של המאיץ קובעת אילו מודלים אפשר להריץ בכלל. המאמר משווה שני מאיצים שמגיעים עם זיכרון ייעודי משלהם, ומפרט מה כדאי לבדוק לפני שמכניסים אחד מהם ל-BOM.
Hailo-10H: 8GB של LPDDR4X ליד השבב
ה-Raspberry Pi AI HAT+ 2 יצא ב-15 בינואר 2026 ומבוסס על Hailo-10H, שמפרסם עד 40 TOPS ב-INT4. לפי Raspberry Pi, בניגוד לדגם הקודם יש בלוח 8GB של זיכרון ייעודי, מה שמאפשר לטפל במודלים גדולים יותר מבעבר. המחיר בהשקה היה 130 דולר לפי CNX Software, לא כולל משלוח ומיסים.
שני דברים ראויים לתשומת לב. הראשון: Raspberry Pi מציינת שבמשימות ראייה כמו YOLO ביצועי הלוח דומים באופן כללי לאלה של ה-AI HAT+ הקודם בן 26 TOPS. כלומר, ההפרש במספר ה-TOPS לא מתורגם ליתרון בעבודת ראייה, והתוספת האמיתית היא היכולת להריץ LLM ו-VLM. בנוסף, מספר TOPS שמוגדר ב-INT4 אינו ניתן להשוואה ישירה למספר שנמדד בדיוק מספרי אחר. השני: Hailo עצמה מציינת בבלוג שלה שהתקני קצה מוגבלים בזיכרון ובהספק, ושיישומים שדורשים ידע רחב או הקשר ארוך מאוד מתאימים יותר לענן.
RK1820 ו-RK1828: DRAM מוערם בתוך האריזה
Rockchip בחרה בארכיטקטורה אחרת: מעבד-משנה שמתחבר למעבד ראשי כמו RK3588 או RK3576, עם NPU של 20 TOPS ב-INT8 ו-DRAM מוערם בתלת-ממד בתוך האריזה. ב-RK1820 יש 2.5GB וב-RK1828 יש 5GB. הכרטיס בפורמט M.2 2280 (M-key) ומתחבר ב-PCIe 2.1 בליין אחד. Forlinx, שמוכרת כרטיס כזה, מציינת הרצה של מודלי 3B עד 7B ורוחב פס של מאות GB/s. אלה נתוני יצרן ומשווק ולא מדידה עצמאית.
מה אומר החשבון
הערכה גסה: 7 מיליארד פרמטרים בדיוק של 4 ביט הם כ-3.5GB של משקלים, לפני זיכרון ה-KV cache ותקורת ההרצה. ניתוח של האתר embedsbc מעריך שמודל 7B ב-INT4 דורש בפועל 4 עד 5GB, כלומר הוא בקצה היכולת של RK1828, ומודלים של 13B ומעלה לא נטענים אליו בשלמותם. Rockchip לא פירסמה הסבר רשמי למגבלת הקיבולת, ולכן מדובר בהערכה של צד שלישי ולא במפרט. ב-Hailo-10H, לפי CNX Software, המודל שהודגם בהשקה לא מילא את 8GB, ונמסר לה שמודלים גדולים יותר בהכנה.
גם מספרי tokens לשנייה דורשים זהירות. לפי נתונים שיצרנית הלוחות Firefly שיתפה עם CNX Software, מודלי 3B ו-7B רצים על RK1820 ו-RK1828 בקצב של 59 עד 180 tokens לשנייה. התוצאה תלויה בדגם המודל, בדיוק המספרי ובאורך ההקשר, ולכן אין להשוות בין נתונים של יצרנים שונים.
מה לבדוק לפני שמכניסים מאיץ כזה ל-BOM
- קיבולת הזיכרון מול המודל: חשבו את המשקלים בדיוק המספרי שתבחרו, הוסיפו מקום ל-KV cache, והשוו לזיכרון הייעודי של המאיץ ולא לזיכרון של המעבד הראשי.
- ממשק ומעבד ראשי: ה-RK1820 וה-RK1828 מתחברים ב-PCIe 2.1 בליין אחד ומוצהרים כתואמים ל-RK3588, ל-RK3576 ולמעבדים ראשיים נוספים. ודאו שיש בלוח שלכם חריץ M.2 מתאים ושהתמיכה בתוכנה קיימת למעבד הראשי שלכם.
- כלי פיתוח: ל-RK182X נדרשת ערכת RKNN3. בסקירה של CNX Software מדצמבר 2025 צוין שהתיעוד הבסיסי קיים, אך לא הוסבר איך משיגים את הערכה, ולכן כדאי לבדוק את המצב העדכני. Hailo מספקת Dataflow Compiler, ולפי Raspberry Pi גם תמיכה בכיוונון LoRA של מודלי שפה.
- סטטוס היצרן: Microchip הודיעה ב-24 ביולי 2026 על הסכם לרכישת Hailo, עם סגירה צפויה לקראת סוף הרבעון שמסתיים ב-30 בספטמבר ובכפוף לאישורים רגולטוריים. בדקו את הסטטוס העדכני של המק"ט לפני שמחליטים.
- עלות: מחירי לוחות AI לקצה השתנו במהלך 2026, כפי שמפורט בסעיף הבא.
הקשר העלות: זיכרון בלוחות AI לקצה
ב-Jetson, NVIDIA פירסמה מחירים מעודכנים בשאלות הנפוצות באתר המפתחים שלה, בלי הודעה נפרדת. לפי VideoCardz, המחיר של Orin Nano Super Developer Kit עלה מ-249 ל-399 דולר, של AGX Orin Developer Kit מ-1,999 ל-3,499 דולר ושל AGX Thor Developer Kit מ-3,499 ל-5,499 דולר. המודולים עצמם התייקרו בעד 101%. NVIDIA לא הסבירה את ההעלאות, ולכן אין לייחס אותן לזיכרון כעובדה.
עם זאת, ההקשר קיים. באפריל 2026, לפי עדכון מחזור חיים של Connect Tech שצוטט ב-CNX Software, NVIDIA האיצה את סיום החיים של מודולי Jetson מבוססי LPDDR4 בשל שינויים בשוק ה-DRAM. גם Raspberry Pi הודיעה בפברואר 2026 על העלאות מחיר, ולדבריה עלות חלק מהרכיבים יותר מהוכפלה ברבעון אחד. פירוט על שוק הזיכרון מופיע במאמר על שוק הזיכרון ב-2026.
לסיכום
במאיצי LLM לקצה, מספר ה-TOPS הוא נתון משני. הנתונים שקובעים הם קיבולת הזיכרון הייעודי, רוחב הפס שלו, הממשק למעבד הראשי ובשלות כלי הפיתוח. לפני שמשלבים מאיץ כזה ב-BOM, כדאי לוודא את המודל המיועד מול הזיכרון, לבדוק את סטטוס היצרן ואת מחיר המק"ט העדכני, ולהתייחס למספרי הביצועים של היצרנים כנקודת פתיחה לבדיקה ולא כמפרט.