چگونه فایل های متنی و CSV واقعا بزرگ را باز کنیم

MS Excel می تواند 1,048,576 ردیف را نمایش دهد. در حالی که ممکن است در استفاده معمولی این عدد واقعاً بزرگ به نظر برسد، سناریوهای زیادی وجود دارد که در آنها کافی نیست.

چه به فایل‌های گزارش یا مجموعه داده‌های بزرگ نگاه کنید، به راحتی می‌توانید با فایل‌های CSV با میلیون‌ها ردیف یا فایل‌های متنی عظیم روبرو شوید. از آنجایی که اکسل(Excel) نمی تواند فایل های به این بزرگی را پشتیبانی کند، دقیقا چگونه آنها را باز می کنید؟ بیایید دریابیم.

چرا ویرایشگرهای متن معمولی(Normal Text Editors) نمی توانند فایل های واقعاً بزرگ را باز کنند(Open Really Large Files) ؟

یک رایانه دارای گیگابایت فضای ذخیره سازی است، پس چرا ویرایشگرهای متن نمی توانند فایل های بزرگ را باز کنند؟

در اینجا دو عامل در بازی وجود دارد. برخی از برنامه‌ها محدودیت‌های رمزگذاری‌شده در میزان نمایش داده‌ها دارند. مهم نیست رایانه شما چقدر حافظه دارد، آنها فقط از آن استفاده نمی کنند.

مشکل دوم رم(RAM) است . بسیاری از ویرایشگرهای متن محدودیت سختی در تعداد ردیف ها ندارند، اما به دلیل محدودیت حافظه نمی توانند فایل های بزرگ را نمایش دهند. آنها کل فایل را در RAM سیستم بارگذاری می کنند ، بنابراین اگر این حافظه به اندازه کافی بزرگ نباشد، فرآیند با شکست مواجه می شود.

روش شماره 1: استفاده از ویرایشگرهای رایگان

بهترین راه برای مشاهده فایل های متنی بسیار بزرگ، استفاده از ... یک ویرایشگر متن است. نه هر ویرایشگر متنی، بلکه ابزارهایی برای نوشتن کد. چنین برنامه هایی معمولاً می توانند فایل های حجیم را بدون مشکل مدیریت کنند و رایگان هستند.

Large Text File Viewer احتمالا ساده ترین این برنامه هاست. استفاده از آن واقعاً آسان است، سریع کار می کند و منبع بسیار کمی دارد. تنها نقطه ضعف؟ نمی تواند فایل ها را ویرایش کند. اما اگر فقط می‌خواهید فایل‌های CSV بزرگ را مشاهده کنید ، این بهترین ابزار برای این کار است.

برای ویرایش فایل های متنی بزرگ نیز باید Emacs را امتحان کنید . در اصل برای سیستم‌های یونیکس(Unix) ساخته شده است، در ویندوز(Windows) نیز به خوبی کار می‌کند و می‌تواند فایل‌های بزرگ را مدیریت کند. به طور مشابه، Neovim و Sublime Text دو IDE(IDEs) سبک وزن هستند که می توانند برای باز کردن فایل های متنی CSV در اندازه گیگابایت استفاده شوند.(CSV)

اگر تنها چیزی که به دنبال آن هستید جستجوی داده ها از طریق فایل های گزارش بزرگ است، klogg فقط ابزاری برای شماست. این برنامه یک فورک به روز رسانی از glogg محبوب ، به شما امکان می دهد عملیات جستجوی پیچیده را از طریق فایل های متنی عظیم به راحتی انجام دهید. از آنجایی که فایل‌های لاگ تولید شده توسط کامپیوتر اغلب می‌توانند میلیون‌ها ردیف داشته باشند، klogg برای کار با چنین اندازه‌هایی بدون مشکل طراحی شده است.

روش(Method) شماره 2: تقسیم به چند قسمت(Into Multiple Parts)

کل مشکل تلاش برای باز کردن فایل‌های CSV بزرگ این است که بیش از حد بزرگ هستند. اما اگر بخواهید اینها را به چندین فایل کوچکتر تقسیم کنید چه؟

این یک راه حل محبوب است، زیرا معمولاً نیازی به یادگیری رابط کاربری یک ویرایشگر متن جدید ندارد. در عوض، می‌توانید از یکی از چندین تقسیم‌کننده CSV که به‌صورت آنلاین موجود است(one of the many CSV splitters available online) ، استفاده کنید تا فایل بزرگ را به تعدادی فایل با قابلیت باز کردن آسان تقسیم کنید. سپس می توان به هر یک از این فایل ها به طور معمول دسترسی داشت.

با این حال، این بهترین راه برای انجام این کار نیست. تقسیم یک فایل بزرگ اغلب می تواند منجر به اشتباهات تایپی عجیب یا فایل هایی با پیکربندی نادرست شود. علاوه بر این، باز کردن هر بخش به طور جداگانه از فیلتر کردن کل داده ها به یکباره جلوگیری می کند.

روش شماره 3: وارد کردن به یک پایگاه داده

فایل های متنی و csv. که تا چندین گیگابایت گسترش می یابند عموما مجموعه داده های بزرگی هستند. پس چرا آنها را به یک پایگاه داده وارد نکنیم؟

SQL رایج ترین زبان نشانه گذاری پایگاه داده است که این روزها استفاده می شود. نسخه های زیادی از SQL(many versions of SQL) در حال استفاده هستند، اما ساده ترین آنها احتمالا MySQL است. و به عنوان شانس، امکان تبدیل یک فایل CSV به جدول MySQL(convert a CSV file into a MySQL table) وجود دارد.

این به هیچ وجه ساده‌ترین روش برای رسیدگی به فایل‌های CSV بزرگ نیست، بنابراین فقط در صورتی که می‌خواهید به طور منظم با مجموعه داده‌های بزرگ سروکار داشته باشید، این را توصیه می‌کنیم. اگر MySQL خیلی سخت به نظر می رسد، همیشه می توانید فایل های csv. خود را به MS Access وارد کنید.

روش(Method) شماره 4: تجزیه و تحلیل با کتابخانه های پایتون(Python)

وقتی با یک فایل csv. با میلیون‌ها ردیف داده کار می‌کنید، واضح است که نمی‌توانید به صورت دستی آن را درک کنید. شما احتمالاً می خواهید داده ها را فیلتر کنید و پرس و جوهای خاصی را برای درک روندها اجرا کنید.

پس چرا کد پایتون را(write Python code) برای انجام این کار نمی نویسید؟

بار دیگر، این کاربرپسندترین روش نیست. در حالی که پایتون سخت ترین زبان برنامه نویسی برای یادگیری(Python isn’t the hardest programming language to learn) نیست، اما کدنویسی است، بنابراین ممکن است بهترین روش برای شما نباشد. با این حال، اگر متوجه می‌شوید که مجبور هستید روزانه فایل‌های CSV واقعاً بزرگ را تجزیه کنید، ممکن است بخواهید (CSV)کار را با مقداری کد پایتون خودکار کنید(automate the task with some Python code) .

روش شماره 5: با ابزارهای برتر

ویرایشگرهای متنی که در روش اول دیدیم، ابزارهای اختصاصی برای پردازش CSV نبودند. (CSV)آنها ابزارهای همه منظوره ای بودند که می توانستند برای کار با فایل های بزرگ .csv نیز استفاده شوند.

اما در مورد اپلیکیشن های تخصصی چطور؟ آیا هیچ برنامه ای وجود ندارد که برای حل این مشکل ایجاد شده باشد؟

در واقع وجود دارد. به عنوان مثال، CSV Explorer بر اساس همان فرآیندی است که در دو روش گذشته توضیح دادیم (پایگاه داده (CSV Explorer)SQL و کد پایتون(Python) ) تا برنامه ای ایجاد کند که قادر به مشاهده و ویرایش فایل های CSV با هر اندازه باشد. می‌توانید هر کاری را که از یک ابزار صفحه‌گسترده انتظار دارید، مانند ایجاد نمودار یا فیلتر کردن داده‌ها در CSV Explorer انجام دهید .

گزینه دیگر UltraEdit است . برخلاف ابزار قبلی، این نه تنها برای فایل‌های csv. بلکه برای هر نوع فایل متنی در نظر گرفته شده است. به راحتی می‌تواند فایل‌های متنی و CSV را در محدوده چند گیگابایت، با رابطی شبیه به بسیاری از ویرایشگرهای رایگانی که قبلاً صحبت کردیم، مدیریت کند. 

تنها ایراد این ابزارها این است که آنها برنامه های پریمیوم هستند و برای اینکه بتوانید از آنها استفاده کنید، باید مجوز پولی دریافت کنید. همیشه می‌توانید نسخه‌های آزمایشی رایگان آن‌ها را امتحان کنید تا ویژگی‌های آن‌ها را بررسی کنید، یا اگر فقط یک بار استفاده می‌کنید.

بهترین راه برای باز کردن فایل های متنی(Large Text) و CSV(CSV Files) بزرگ چیست؟

در این عصر داده های بزرگ(Big Data) ، دیدن فایل های متنی با حجم گیگابایت که حتی با ابزارهای داخلی مانند Notepad یا MS Excel نیز دشوار است، غیرعادی نیست . برای اینکه بتوانید چنین فایل های CSV بزرگی را باز کنید، باید یک برنامه شخص ثالث را دانلود کرده و از آن استفاده کنید.

اگر تنها چیزی که می خواهید این است که چنین فایل هایی را مشاهده کنید، پس Large Text File Viewer بهترین انتخاب برای شما است. برای ویرایش واقعی آن‌ها، می‌توانید یک ویرایشگر متن غنی از ویژگی‌ها مانند Emacs را امتحان کنید ، یا به سراغ ابزار ممتازی مانند CSV Explorer بروید .

تکنیک هایی مانند تقسیم فایل CSV یا وارد کردن آن به پایگاه داده، مراحل بسیار زیادی را شامل می شود. اگر متوجه شدید که زیاد با فایل‌های متنی بزرگ کار می‌کنید، بهتر است مجوز پولی یک ابزار پریمیوم اختصاصی دریافت کنید.



About the author

من یک متخصص کامپیوتر هستم و از سال 2009 به مردم در زمینه کامپیوترشان کمک می‌کنم. مهارت‌های من شامل آیفون، نرم‌افزار، گجت‌ها و غیره است. من همچنین در چهار سال گذشته به عنوان مربی کار کرده ام. در آن زمان، یاد گرفتم که چگونه به مردم کمک کنم تا برنامه های جدید را یاد بگیرند و چگونه از دستگاه های خود به روشی حرفه ای استفاده کنند. من از دادن نکاتی در مورد چگونگی بهبود مهارت هایم لذت می برم تا همه بتوانند در کار یا مدرسه موفق باشند.



Related posts