اسکراپینگ وب^{(Web scraping)} عمل استخراج داده ها، اطلاعات یا تصاویر از یک وب سایت با استفاده از روشی خودکار است. آن را به عنوان کپی و پیست^{(copy and paste)} تمام اتوماتیک در نظر بگیرید.^(Think)

ما یا می نویسیم یا از یک برنامه برای رفتن به وب سایت هایی که می خواهیم استفاده می کنیم و از موارد خاصی که می خواهیم از آن وب سایت ها کپی می کنیم. این بسیار دقیق تر از دانلود کل یک وب سایت است.

مانند هر ابزاری، وب اسکرپینگ را می توان برای خوب یا بد استفاده کرد. برخی از دلایل بهتر برای حذف وب‌سایت‌ها، رتبه‌بندی آن‌ها در موتور جستجو^{(search engine)} بر اساس محتوای آن، خرید مقایسه قیمت^{(price comparison shopping)} ، یا نظارت بر اطلاعات بازار سهام است^{(stock market information)} . حتی ممکن است از آن به عنوان یک ابزار تحقیقاتی استفاده کنید^{(research tool)} .

چگونه می توانم وب سایت ها را با اکسل^(Excel) خراش دهم ؟

باور کنید یا نه، اکسل^(Excel) برای مدت طولانی، حداقل از اکسل 2003^{(Excel 2003)} ، توانایی استخراج داده ها از وب سایت ها را داشته است . فقط خراش دادن وب چیزی است که بیشتر مردم به آن فکر^{(t think)} نمی کنند ، چه رسد به اینکه به استفاده از یک برنامه صفحه گسترده^{(spreadsheet program)} برای انجام کار فکر کنند. اما به طرز شگفت انگیزی آسان و قدرتمند است. بیایید با ساخت مجموعه ای از میانبرهای صفحه کلید مایکروسافت آفیس ، نحوه انجام آن را بیاموزیم.^{(Microsoft Office keyboard)}

سایت هایی را که می خواهید خراش دهید پیدا کنید

اولین کاری که می‌خواهیم انجام دهیم این است که صفحات وب خاصی را که می‌خواهیم از آنها اطلاعات دریافت کنیم، پیدا کنیم. بیایید به منبع بروید و^{(source and search)} در https://support.office.com/ جستجو کنید . ما قصد داریم از عبارت جستجو^{(search term)} "میانبرهای متداول استفاده شده" استفاده کنیم. می‌توانیم با استفاده از نام برنامه خاص، مانند Outlook ، Excel ، Word و غیره، آن را مشخص‌تر کنیم. ممکن است ایده خوبی باشد که صفحه نتایج را نشانه گذاری کنید تا بتوانیم به راحتی به آنجا برگردیم.

روی^(Click) نتیجه جستجو^{(search result)} کلیک کنید ، "میانبرهای صفحه کلید در اکسل^(Excel) برای ویندوز". پس از ورود به آن صفحه، لیست نسخه های اکسل^(Excel) را پیدا کنید و روی نسخه های جدیدتر^{(Newer Versions)} کلیک کنید . اکنون ما با جدیدترین و بهترین ها کار می کنیم.

می‌توانیم به صفحه نتایج جستجوی خود برگردیم و نتایج را برای سایر برنامه‌های آفیس^{(Office apps)} در برگه‌های خودشان باز کنیم و آنها را نشانک کنیم. حتی برای این تمرین هم ایده خوبی است. اینجا جایی است که اکثر مردم در جمع آوری میانبرهای آفیس^(Office) متوقف می شوند ، اما ما نه. ما آنها را در اکسل^(Excel) قرار می دهیم تا هر زمان که بخواهیم هر کاری که می خواهیم با آنها انجام دهیم.

Excel و Scrape را باز کنید

اکسل^(Excel) را باز کنید و یک کتاب کار جدید شروع کنید. کتاب کار را به عنوان میانبرهای آفیس^{(Office Shortcuts)} ذخیره کنید . اگر OneDrive دارید، آن را در آنجا ذخیره کنید تا ویژگی AutoSave کار کند.

پس از ذخیره کتاب کار، روی تب Data کلیک کنید.

در نوار زبانه Data^{(Data tab)} ، روی From Web کلیک کنید .

پنجره From Web Wizard باز خواهد شد. این جایی است که آدرس وب یا URL^{(web address or URL)} وب سایتی را که می خواهیم داده ها را از آن حذف کنیم، قرار می دهیم. به مرورگر وب خود بروید و URL را کپی کنید.^(copy)

URL را در قسمت URL جادوگر From Web^{(From Web wizard)} قرار دهید . می‌توانیم انتخاب کنیم که از این در حالت Basic یا Advanced استفاده کنیم. حالت پیشرفته^{(Advanced mode)} گزینه های بسیار بیشتری در مورد نحوه دسترسی به داده ها از وب سایت به ما می دهد. برای این تمرین فقط به حالت Basic نیاز داریم. روی ^(Click) OK کلیک کنید .

اکنون اکسل^(Excel) سعی می کند به وب سایت متصل شود. این ممکن است چند ثانیه طول بکشد. در صورت مشاهده ، پنجره پیشرفت^{(progress window)} را مشاهده خواهیم کرد.

پنجره Navigator باز می شود و ما لیستی از جداول را از وب سایت در سمت چپ می بینیم. وقتی یکی را انتخاب می کنیم، پیش نمایش جدول را در سمت راست می بینیم. بیایید جدول میانبرهای اغلب استفاده شده را انتخاب کنیم.^{(Frequently used shortcuts )}

اگر لازم است به دنبال جدول مورد نظر خود باشیم، می‌توانیم روی تب Web View کلیک کنیم تا وب‌سایت واقعی را ببینیم. ^{(Web View)}وقتی آن را پیدا کردیم، می توانیم روی آن کلیک کنیم و برای واردات انتخاب می شود.

حالا روی دکمه Load در پایین این پنجره کلیک می کنیم. گزینه های دیگری نیز وجود دارد که می توانیم انتخاب کنیم، که پیچیده تر و فراتر از محدوده انجام اولین خراش ما هستند. فقط حواستان باشد که آنها آنجا هستند. قابلیت های اسکراپینگ وب اکسل بسیار قدرتمند است.

جدول وب^{(web table)} پس از چند ثانیه در اکسل^(Excel) بارگذاری می شود . ما داده ها را در سمت چپ می بینیم، جایی که عدد 1 در تصویر زیر است. شماره 2 پرس^(Query) و جوی مورد استفاده برای دریافت داده ها از وب سایت را برجسته می کند. هنگامی که در یک کتاب کار چندین پرس و جو داریم، اینجاست که موردی را که باید استفاده کنیم انتخاب می کنیم.

توجه داشته باشید^(Notice) که داده ها به صورت جدول اکسل وارد صفحه گسترده می شوند. از قبل برای ما تنظیم شده است تا بتوانیم داده ها را فیلتر یا مرتب کنیم.

ما می‌توانیم این فرآیند را برای تمام صفحات وب دیگری که دارای میانبرهای آفیس برای ^(Office)Outlook ، Word ، Access ، PowerPoint و هر برنامه آفیس^{(Office app)} دیگری هستند، تکرار کنیم .

حفظ جریان داده های خراشیده شده^{(Scraped Data Current)} در اکسل^(Excel)

به عنوان یک امتیاز برای شما، ما می خواهیم یاد بگیریم که چگونه داده های خراشیده شده خود را در اکسل^(Excel) تازه نگه داریم . این یک راه عالی برای نشان دادن قدرت اکسل^(Excel) برای خراش دادن داده ها است. حتی با این کار، ما فقط ابتدایی ترین اسکراپینگی را انجام می دهیم که اکسل^(Excel) می تواند انجام دهد.

برای این مثال، اجازه دهید از یک صفحه وب اطلاعات سهام مانند ^{(stock information)}https://www.cnbc.com/stocks/ استفاده کنیم.

کارهایی که قبلا انجام دادیم را مرور کنید و URL جدید را از نوار آدرس ^{(address bar)}کپی و جایگذاری^{(copy and paste)} کنید .

به پنجره Navigator می‌روید^{(Navigator window)} و جداول موجود را می‌بینید. بیایید شاخص های عمده سهام ایالات متحده^{(Major U.S. Stock Indices)} را انتخاب کنیم .

هنگامی که داده ها خراشیده شدند، صفحه گسترده زیر را مشاهده خواهیم کرد.

در سمت راست، پرس و جو برای شاخص‌های عمده سهام ایالات متحده^{(Major U.S. Stock Indexes)} را می‌بینیم . آن را انتخاب کنید^(Select) تا برجسته شود. مطمئن^(Make) شوید که در تب Table Tools و در قسمت ^{(Table Tools)}Design هستیم . سپس بر روی فلش رو به پایین زیر Refresh کلیک کنید . سپس روی Connection Properties کلیک کنید .

در پنجره Query Properties ، در زبانه ^{(Query Properties )}Usage ، می‌توانیم نحوه تازه‌سازی این اطلاعات را کنترل کنیم. می‌توانیم یک دوره زمانی خاص را برای بازخوانی، یا برای بازخوانی زمانی که کتاب کار را در دفعات بعد باز می‌کنیم، یا برای بازخوانی در پس‌زمینه، یا هر ترکیبی از این‌ها تنظیم کنیم. پس از انتخاب موارد مورد نیاز، روی OK کلیک کنید تا پنجره بسته شود و ادامه دهید.

خودشه! اکنون می‌توانید قیمت سهام، امتیازات ورزشی یا هر داده دیگری را که مرتباً تغییر می‌کند از صفحه‌گسترده اکسل^{(Excel spreadsheet)} ردیابی کنید. اگر با معادلات و توابع اکسل^(Excel) خوب هستید ، می توانید تقریباً هر کاری را که می خواهید با داده ها انجام دهید.

شاید سعی کنید روند سهام را شناسایی کنید، یک استخر ورزشی فانتزی در محل کار راه اندازی کنید، یا شاید فقط وضعیت آب و هوا را پیگیری کنید. چه کسی می داند؟ تخیل شما و داده های موجود در اینترنت^(Internet) ، تنها محدودیت هستند.

Use Excel as a Tool to Copy Data from the Web

Web scraping is the act оf еxtracting data, informatiоn, or images frоm a webѕite using an automatеd methоd. Think оf it as copy and paste оn full automatic.

We either write or use an app to go to the websites we want it to and make a copy of the specific things we want from those websites. It’s much more precise than downloading an entire website.

Like any tool, web scraping can be used for good or evil. Some of the better reasons for scraping websites would be ranking it in a search engine based on its content, price comparison shopping, or monitoring stock market information. You might even use it as a research tool of sorts.

How Can I Scrape Websites with Excel?

Believe it or not, Excel has had the ability to extract data from websites for a long time, at least since Excel 2003. It’s just that web scraping is something most people don’t think of, let alone think of using a spreadsheet program to do the job. But it’s surprisingly easy, and powerful. Let’s learn how it’s done by making a collection of Microsoft Office keyboard shortcuts.

Find the Sites You Want to Scrape

The first thing we’re going to do is find the specific web pages from which we want to get information. Let’s go to the source and search at https://support.office.com/. We’re going to use the search term “frequently used shortcuts”. We can make it more specific by using the name of the specific app, like Outlook, Excel, Word, and so on. It may be a good idea to bookmark the results page so we can easily get back there.

Click on the search result, “Keyboard shortcuts in Excel for Windows”. Once on that page, find the list of Excel versions and click on Newer Versions. Now we’re working with the latest and greatest.

We could go back to our search results page and open the results for all the other Office apps in their own tabs and bookmark them. It’s a good idea, even for this exercise. This is where most people would stop in collecting Office shortcuts, but not us. We’re going to put them in Excel so we can do whatever we want with them, whenever we want.

Open Excel and Scrape

Open Excel and start a new workbook. Save the workbook as Office Shortcuts. If you have OneDrive, save it there so the AutoSave feature will work.

Once the workbook is saved, click on the Data tab.

In the ribbon of the Data tab, click on From Web.

The From Web wizard window will open. This is where we put the web address or URL of the website from which we want to scrape data. Switch to your web browser and copy the URL.

Paste the URL in to the URL field of the From Web wizard. We could choose to use this in Basic or Advanced mode. The Advanced mode gives us a lot more options on how to access the data from the website. For this exercise, we only need Basic mode. Click OK.

Excel will now attempt to connect to the website. This may take a few seconds. We’ll see a progress window, if it does.

The Navigator window will open, and we’ll see a list of tables from the website on the left. When we select one, we’ll see a table preview on the right. Let’s select the Frequently used shortcuts table.

We can click on the Web View tab to see the actual website, if we need to look around for the table we want. When we find it, we can click on it and it will be selected for import.

Now, we click on the Load button at the bottom of this window. There are other options we could choose, which are more complex and beyond the scope of doing our first scrape. Just be aware that they are there. Excel’s web scraping capabilities are very powerful.

The web table will be loaded in Excel after a few seconds. We’ll see the data on the left, where the number 1 is in the picture below. Number 2 highlights the Query used to get the data from the website. When we have multiple queries in a work book, this is where we select the one we need to use.

Notice that the data comes into the spreadsheet as an Excel table. It’s already set up for us to be able to filter or sort the data.

We can repeat this process for all the other web pages that have the Office shortcuts that we want for Outlook, Word, Access, PowerPoint, and any other Office app.

Keeping Scraped Data Current in Excel

As a bonus for you, we’re going to learn how to keep our scraped data fresh in Excel. This is a great way to illustrate just how powerful Excel is for data scraping. Even with this, we’re only doing the most basic scraping that Excel can do.

For this example, let’s use a stock information web page like https://www.cnbc.com/stocks/.

Go through what we did before and copy and paste the new URL from the address bar.

You’ll get to the Navigator window and see the tables available. Let’s select the Major U.S. Stock Indices.

Once the data is scraped we’ll see the following spreadsheet.

On the right, we see the query for Major U.S. Stock Indexes. Select that so it is highlighted. Make sure we’re in the Table Tools tab and in the Design area. Then click on the down arrow under Refresh. Then click on Connection Properties.

In the Query Properties window, under the Usage tab, we can control how this information refreshes. We can set a specific time period to refresh, or to refresh when we open the workbook the next time, or to refresh in the background, or any combination of these. Once we choose what we need, click on OK to close the window and continue.

That’s it! Now you can track stock prices, sports scores, or any other data that changes frequently from an Excel spreadsheet. If you’re good with Excel equations and functions, you can do almost anything you want with the data.

Maybe try to identify stock trends, run a fantasy sports pool at work, or maybe just keep track of the weather. Who knows? Your imagination and the data available on the Internet, are the only limits.

Related posts

• از عملکرد جدید Excel Mobile "Insert Data From Picture" استفاده کنید

• از توابع خلاصه برای خلاصه کردن داده ها در اکسل استفاده کنید

• از Excel برای تعیین نرخ بهره موثر از نرخ بهره اسمی استفاده کنید

• نمودار داده های اکسل شما

• نحوه فیلتر کردن داده ها در اکسل

• از Format Painter در Word برای کپی و چسباندن قالب بندی استفاده کنید

• پیوند سلول ها بین برگه ها و کتاب های کاری در اکسل

• نحوه استفاده از Sparklines در اکسل

• نحوه ایجاد و استفاده از فرمول در جداول در Word

• 40 بهترین میانبر صفحه کلید مایکروسافت اکسل

• آموزش مبانی مایکروسافت اکسل – آموزش استفاده از اکسل

• نحوه جابه‌جایی بین کاربرگ‌ها در اکسل

• از پنجره تماشای اکسل برای نظارت بر سلول های مهم در یک کتاب کار استفاده کنید

• نحوه مخفی کردن برگه ها، سلول ها، ستون ها و فرمول ها در اکسل

• نحوه جدا کردن نام و نام خانوادگی در اکسل

• چگونه به Create and Use AutoText در Microsoft Word

• یک کاربرگ اکسل را در Word Doc قرار دهید

• چگونه به ایجاد Gantt Charts در Microsoft Excel

• نحوه محاسبه Variance در Excel

• چگونه به ایجاد یک Flowchart در Word and Excel